人工智能开发者发布 ChatGPT 训练算法的开源实现

导读：人工智能开发者发布 ChatGPT 训练算法的开源实现，包括机构与华裔个人。

人工智能研究小组LAION(https://laion.ai/)和CarperAI(https://carper.ai/)分别发布了OpenAssistant(https://github.com/LAION-AI/Open-Assistant)与trlX(https://github.com/CarperAI/trlx)，这些均是人类反馈强化学习 (RLHF) 的开源产品实现，用于训练ChatGPT的算法。

此外，独立人工智能开发者Phil Wang也开源了自己的ChatGPT算法实现。（相关阅读：首个“开源ChatGPT”来了）

关于 LAION，全称为 Large-scale Artificial Intelligence Open Network，是一个非盈利的机器学习研究机构，致力于为公众提供 AI 模型、数据集和开源代码。

2022 年，LAION 发布LAION-5B，这是一个包含超过 50 亿个图像文本对的人工智能训练数据集。LAION 的最新项目是 OpenAssistant，目标是“让每个人都可以访问基于聊天的大型语言模型”。计划中的 OpenAssistant MVP 实现将基于 OpenAI 的 InstructGPT 论文：人工生成指令的数据集、机器生成的响应及其人类排名的数据集，以及 RLHF 的实现。

根据 LAION 的官方说法如下：

我们不会止步于复制 ChatGPT。我们希望构建未来的助手，不仅能够编写邮件和求职信，还要能做有意义的工作、使用 API、动态研究信息等等，并且能够让任何人进行个性化与扩展。

我们希望以一种开放和可访问的方式来做到这一点，这意味着我们不仅要构建一个出色的助手，还要使他足够小，且高效以在消费类硬件上运行。

CarperAI 是EleutherAI研究小组的一个新实验室，其任务是“通过强化学习提高大型语言模型 (LLM) 的性能和安全性。” 2022 年 10 月，该实验室宣布了一个使用 RLHF训练和公开发布“指令调整”模型的项目。

该项目是几个技术组织的合作成果，包括HuggingFace、Scale和Humanloop。作为该项目的一部分，CarperAI 开源了 Transformer Reinforcement Learning X (trlX)，这是一个使用 RLHF 微调 HuggingFace 语言模型的框架。

以Imagen和Make-A-Video等深度学习研究模型的开源实现而闻名的 AI 开发人员 Phil Wang分享了他正在为PaLM语言模型（称为 PaLM + RLHF）实施 RLHF 的工作。Phil Wang 指出，没有预训练模型，只有用户自己训练的框架。他还发出建议有兴趣复制 ChatGPT 的用户加入LAION discord 频道。

尽管这些开源项目包括 ChatGPT 训练方法的实现，但它们目前没有任何可用的训练模型。Phil Wang的项目常见问题解答表明，培训可能需要“数百万美元的计算 + 数据”才能完成。LAION 的 OpenAssistant路线图文档确实列出了收集数据和训练模型的工作，但不清楚何时可以发布经过训练的模型。

CarperAI 的 Twitter 发贴指出：