ServiceNow、Hugging Face和NVIDIA开放获取LLM，助力生成式AI构建企业应用

北京时间2月29日消息，ServiceNow、Hugging Face和NVIDIA发布StarCoder2，其为一系列用于代码生成的开放获取大语言模型（LLM），将为性能、透明度和成本效益树立新标准。

与BigCode社区共同创建的StarCoder2是在600多种编程语言上训练而成，它将推进代码生成、透明度、治理和创新

StarCoder2的联合开发者BigCode社区是由ServiceNow和HuggingFace共同管理。前者是一家领先的数字工作流公司，致力于为每个人创造更好的工作环境；后者则是最常用的开源平台，机器学习社区在该平台上就模型、数据集和应用程序开展合作。

在619种编程语言上训练而成的StarCoder2，可接受进一步的训练并嵌入到企业应用中，以执行应用源代码生成、工作流生成、文本摘要等特定任务。开发者可以使用它的代码补全、高级代码摘要、代码片段检索等功能，加快创新速度及提高工作效率。

StarCoder2提供三种规模的模型：由ServiceNow训练的30亿参数模型、由Hugging Face训练的70亿参数模型，以及由NVIDIA使用NVIDIA NeMo构建并在NVIDIA加速基础设施上训练的150亿参数模型。规模较小的模型由于参数较少，在推理过程中所需的计算量较少，可在提供强大性能的同时节省计算成本。实际上，新的 30 亿参数模型在性能上与原有的StarCoder 150亿参数模型不相上下。

ServiceNow的StarCoder2开发团队负责人兼BigCode联合负责人Harm de Vries表示： “StarCoder2证明了将开放式科学协作和负责任的AI实践与道德数据供应链相结合所产生的力量。这一极其先进的开放获取模型将提高已有生成式AI的性能和开发者的生产力，为开发者提供平等的机会，获得代码生成式AI的优势。这使任何规模的企业都能更加轻松地激发其全部业务潜力。”

HuggingFace机器学习工程师兼BigCode联合负责人Leandro von Werra表示： “在Hugging Face、ServiceNow和NVIDIA的共同努力下，这套功能强大的基础模型终于问世。在数据和训练完全透明的情况下，社区能够更加高效地构建各种应用。StarCoder2证明了开源和开放式科学的潜力，我们正在努力实现负责任AI的全民化。”

NVIDIA应用研究副总裁Jonathan Cohen表示： “由于每个软件生态系统都有专门的编程语言，代码LLM可以推动各行业效率和创新方面的突破。NVIDIA与ServiceNow和Hugging Face的合作带来了安全且负责任的模型，让更多人能够用上负责任的生成式AI，我们相信这将使全球社区受益。”

StarCoder2模型为自定义应用开发增添强大助力

StarCoder2模型均使用来自BigCode的先进架构和精心挑选的数据源。为了实现负责任的大规模创新，数据源的透明度和开放治理被放在第一位。

StarCoder2提升了未来由AI驱动的编码应用的潜力，包括各种文本-代码和文本-工作流转换功能。通过更加广泛、深入的编程训练，它可以提供资源库上下文，从而实现准确的上下文感知预测。无论是经验丰富的软件工程师还是业余开发者等，都能利用这些进步提升业务价值和推动数字化转型。

StarCoder2的基础是一个名为Stack v2的新代码数据集，该数据集规模比Stack v1大7倍多。除了先进的数据集之外，新的训练技术也有助于模型理解低资源编程语言（如COBOL等）、数学和程序源代码讨论。

使用特定业务数据对先进功能进行微调

用户可以使用NVIDIA、NeMo或HuggingFace TRL等开源工具，利用特定行业或组织的数据，对开放获取的 StarCoder2模型进行微调。可以创建高级聊天机器人来处理更复杂的摘要或分类任务、开发能够快速且轻松地完成编程任务的个性化编码助手、检索相关代码片段，并实现文本-工作流转换功能。

为创建适合自身业务的特定任务功能，各企业已经开始对StarCoder基础模型进行微调。

ServiceNow的文本-代码Now LLM就是在150亿参数StarCoder LLM的专用版本上构建而成的，并针对其工作流模式、用例和流程进行了微调和训练。Hugging Face也使用该模型创建了自己的StarChat助手。

BigCode促进AI领域的开放式科学协作

BigCode是一个由Hugging Face和ServiceNow领导的开放式科学协作社区，致力于负责任的代码LLM开发。

BigCode社区以工作组和特别任务组的形式积极参与StarCoder2项目的技术工作，分别使用ServiceNow的Fast LLM框架来训练30亿参数模型、使用Hugging Face的nanotron框架来训练70亿参数模型，以及NVIDIA NeMo云原生框架和NVIDIA TensorRT-LLM软件来训练和优化150亿参数模型。

BigCode的核心宗旨是促进负责任的创新，其开放的治理、透明的供应链、开源软件的使用，以及让开发者选择数据不用于训练等做法都体现了这一点。StarCoder2是在获得Inria托管的Software Heritage数字共享许可下，使用负责任的数据构建而成的。

Software Heritage总监Roberto Di Cosmo表示： “StarCoder2是首个使用Software Heritage源代码存档开发的代码生成式AI模型，其构建方式符合我们负责任地开发代码模型的政策。ServiceNow、Hugging Face和NVIDIA的这一合作体现了对道德AI 开发的共同承诺，引领技术朝着更崇高的利益发展。”

StarCoder2与其前代一样，将在BigCode Open RAIL-M许可下免费提供访问和使用。为进一步促进透明度和协作，该模型的支持代码将继续保留在BigCode项目的GitHub页面上。

所有StarCoder2模型还可以在Hugging Face上下载。StarCoder2 150亿参数模型通过NVIDIA AI Foundation模型提供，开发者可以直接在浏览器上或通过API端点进行试用。