Stability AI,一家以其Stable Diffusion文本生成图像模型而知名的公司,现已开始涉足代码生成领域。该公司最近发布了一款名为StableCode的开放大型语言模型(LLM),旨在帮助用户生成编程语言代码,该模型基于transformer神经网络构建。 StableCode将提供三个不同级别的模型:一个基础模型用于一般用途,一个指令模型,以及一个能够支持多达16,000个词元(token)的长上下文窗口模型。StableCode模型的数据来源于开源BigCode项目的初始编程语言数据集,同时还经过了Stability AI的额外过滤和微调。StableCode将首先支持Python、Go、Java、JavaScript、C、markdown和C++等编程语言的开发。 Stability AI的首席研究科学家Nathan Cooper表示,StableCode的训练涉及了对BigCode数据进行大量的过滤和清理。StableCode的长上下文窗口版本具有16,000个词元的上下文窗口,这比任何其他模型都要大。更长的上下文窗口使得可以使用更专业和复杂的代码生成提示,还意味着用户可以让StableCode查看一个包含多个文件的中等大小的代码库,以帮助理解和生成新代码。 目前,StableCode还处于早期阶段,官方的目标是观察开发者如何接受和使用该模型。
评论