Sam Altman 表示巨型 AI 模型的时代已经结束

导读：Open AI的CEO 表示，ChatGPT的研发策略已经告一段落，未来的人工智能技术需要有新的想法。

几个月来，ChatGPT聊天机器人，引发了人们对人工智能的新兴趣以及投资热情。但是上周末，OpenAI 的首席执行官警告人们说，虽然他们发明了ChatGPT，但是这种聊天机器人的研发策略已经结束。

目前，需要共同探索未来的新方向，但谁也不知道新的奇点来自何方。

近几年来， OpenAI通过采用现有的机器学习算法，并将其扩展到以前人们无法想象的规模，本次在与自然语言一起工作的人工智能方面，已经取得了一系列印象深刻的进步。

GPT-4 是这些技术中最新的一个，它用数万亿个文本单词和数千个功能强大的计算机芯片进行训练，该过程已经耗资超过 1 亿美元。

OpenAI 的首席执行官萨姆奥特曼（Sam Altman）表示，未来新一步的进化，将不会来自于巨型模型。

他说：“我认为我们正处于时代的末尾，这个时代就是这些内容了。比如大模型、巨型模型”。他上周的晚些时候，在麻省理工学院举行的一次活动中告诉观众们。“我们会以其它方式让GPT变得更好。”

Altman 的声明表示在开发和部署新 AI 算法的竞赛中出现了意想不到的转折。

自从 OpenAI 在去年 11 月推出 ChatGPT 以来，微软利用其底层技术为其 Bing 搜索引擎添加了聊天机器人，而谷歌则推出了名为 Bard 的聊天机器人与其竞争。

从诞生开始，许多人便急于尝试使用新型聊天机器人来帮助完成自己的工作或其它任务。

与此同时，包括Anthropic、 AI21、 Cohere和 Character.AI在内的众多资金充足的初创公司正在投入大量资源来构建更大的算法和模型，以期待努力赶上 OpenAI 的技术。

ChatGPT 的初始版本基于略微升级的 GPT-3 版本，但当前用户已经可以访问由功能更强大的 GPT-4 提供驱动的新版本。

Altman 的声明指出，GPT-4 可能是 OpenAI 应用大模型，即提供巨量数据战略中的最后一个重大版本。他没有说什么样的研发策略或技术可能会取代它。在描述 GPT-4 的论文中，OpenAI 表示大模型规模收益正在递减。

Altman 表示，该公司可以建造的数据中心数量与建设速度也存在着物理限制。

Cohere 的联合创始人 Nick Frosst ，这是一位在谷歌从事 AI 方面多年工作的工程师，他说 Altman 认为做大模型不会永远奏效的想法听起来是正确的。他这样认为，Transformer（GPT-4 及其竞争对手的核心机器学习模型类型）的进展超出了扩展范围。有很多方法可以让Transformer变得更好、更有用，而且很多方法并不涉及向模型添加参数，”Frosst 还说，新的 AI 模型设计或架构，以及基于人类反馈的进一步优化，将是许多人工智能研究人员已经在探索和有前途的方向。

OpenAI 中有影响力的语言算法系列每个版本都由一个人工神经网络组成，该软件松散地受到神经元协同工作方式的启发，经过训练可以预测给定文本字符串后面应该出现的单词。

这些语言模型中的基础 GPT-2 于 2019 年发布。在其最大的表现形式中，它包含有 15 亿个参数，用于衡量其原始人工神经元之间可调节连接的数量。

当时，GPT-3与以前的系统相比，这已经是非常大的数量级，它在一定程度上要归功于 OpenAI 研发人员的发现，即扩大规模可以使模型更加连贯。然后，GPT-2 的继任者 GPT-3 在 2020 年发布，它的规模更大，参数数量高达 1750 亿。该系统可以生成诗歌、电子邮件和其他文字的广泛能力，这有助于说服其它公司和研究机构将己的人工智能模型推向类似甚至更大的数据规模推进。

在 ChatGPT 于 11 月首次亮相后，表情包制作者和技术专家瘵推测 GPT-4 出现时，将成为数据规模和复杂性令人眩晕的典范。然而，OpenAI 宣布新的这个人工智能模型时，该公司并没有透露它的数据规模有多大——也许真的是因为规模不再是最重要的。

在麻省理工学院的活动上，奥特曼被观众问及训练 GPT-4 是否花费了 1 亿美元时，他回答说：“远不止如此。”

尽管 OpenAI 对 GPT-4 的数据大小和内部工作原理保密，但是它的一些智能很可能已经来自于超越数据规模的观察。一种可能性是它使用了一种称为强化学习的方法和人类反馈技术，用于增强 ChatGPT。它涉及让人类判断模型答案的质量，以引导它提供更有可能被判断为高质量的响应。

GPT-4 的非凡能力让一些专家感到震惊，并引发了关于人工智能在改变经济的同时，会有否传播虚假信息和裁员的潜力的争论。

此外，奥特曼证实他的公司目前没有开发 GPT-5。“我们早期的版本声称 OpenAI 目前正在训练 GPT-5，这不是真的，”他说。“我们不会做，而且在一段时间内都不会做。”