17611538698
webmaster@21cto.com

StarCoder2 :ServiceNow、Hugging Face 和 NVIDIA 为开发者发布新的开放式 LLM

人工智能 0 873 2024-03-01 08:38:24

导读:开发者们的新福音,StarCode2发布了。

ServiceNow、Hugging Face 和 NVIDIA 联手发布了一个名为 StarCoder2 的新开放 LLM 系列,专为开发者设计。

以下网址所抓图,可以看到使用众多,技术专家,程序大牛们纷纷来测试使用。

图片

官网地址:https://huggingface.co/bigcode

StarCoder2 已经接受过 619 门编程语言训练,旨在为开发者提供代码生成、工作流生成和文本摘要等功能。

三家公司预计, StarCoder2 模型将对软件工程师、开发者以及普通公民都有很大的裨益。

StarCoder2 是在 BigCode 社区( bigcode-project.org)内开发的,该社区是一个致力于负责任地开发 LLM 的小组。该项目由 ServiceNow 和 Hugging Face 共同管理。

相比于上一代StarCoder模型,StarCoder2用30亿参数模型就实现了初版150亿参数模型的性能。

StarCoder 2 分别对应三种不同的模型尺寸:

  1. ServiceNow 训练了一个 30 亿个参数的模型;
  2. Hugging Face 训练了一个 70 亿个参数的模型;
  3. NVIDIA 训练了一个 150 亿个参数的模型。

较小的型号旨在提供强大的性能,同时使用少量的计算能力。30 亿参数模型与原始 StarCoder 版本的 150 亿参数模型的性能相匹配。

用户将能够使用 NVIDIA NeMo 或 Hugging Face TRL 等开源工具微调这些模型以满足自己的特定的需求。

ServiceNow 的 StarCoder2 开发团队负责人兼 BigCode 联合负责人 Harm de Vries 这样表示:

“StarCoder2 证明了开放科学合作和负责任的 AI 实践与道德数据供应链的综合力量。最先进的开放获取模型改进了先前的生成式 AI 性能,以提高开发人员的生产力,并为开发人员提供平等的机会获得代码生成 AI 的好处,这反过来又使任何规模的组织都能更轻松地发挥其全部业务潜力。”

Hugging Face的机器学习工程师兼BigCode的联合负责人Leandro von Werra也补充,我们节选一部分。他这样说道:

“由Hugging Face、ServiceNow和NVIDIA领导的共同努力,使强大的基础模型得以发布,使社区能够更有效地构建各种应用程序,并提供完整的数据和训练透明度。

StarCoder2 证明了开源和开放科学的潜力,因为我们正在努力使负责任的 AI 民主化。”

此外,StarCoder2 系列模型采用BigCode Open RAIL-M许可证,允许开发者免费访问和使用。

祝大家编码效率更快捷~图片

作者:万能的大雄

评论