杰弗里·辛顿WAIC实录:人类或是一种大语言模型
17611538698
webmaster@21cto.com

杰弗里·辛顿WAIC实录:人类或是一种大语言模型

人工智能 0 41 14小时前
图片

导读:本篇为神经网络AI之父辛顿在上海世界AI大会上的讲话精选。

7 月 26 号,2025 世界人工智能大会(WAIC)在中国上海正式开幕。

这一次,人们迎来了人工智能领域的重量级嘉宾,诺贝尔奖和图灵奖得主杰弗里·辛顿(Geoffrey Hinton)。

图片
辛顿的腰伤是从小而来的老毛病,平躺或者站立,却不能久坐。

值得一提的是,这是辛顿首次踏足中国参加线下会议。对于已经 77 岁、身体欠佳的他来说实属不易,也更能体现出他此次中国行的弥足珍贵。

图片

AI 安全国际对话上海共识签署现场,辛顿、姚期智等AI专家合影

辛顿以一场“数字智能是否会取代生物智能”的演讲为 WAIC 开幕。

图片

首先,辛顿讨论了两种人工智能范式。

一种是受逻辑启发的方法,也就是传统人工智能(AI)。这种方法的核心观念是“人类智能的本质在于推理”。要实现推理,就需要建立一套符号表达式,再通过符号规则去操作它们。

而信奉这种方法的人认为,学习可以暂缓,首先要理解只是如何以符号表达的形式进行表示。

图片

另一种方法,则是受生物学启发的,也就是艾伦·图灵(Alan Turing)和约翰·冯·诺伊曼(John von Neumann)所推崇的,智能的本质在于(脑细胞)神经网络的学习。

对人类而言,脑细胞是学习的关键;对计算机来说,就需要模拟。理解学习的机制最重要,而推理可以暂缓。

1985 年,辛顿做了个小模型,尝试结合这两种理论,以解释人们如何理解词汇。他给每个词设置多个不同特征,记录数字特征来预测下一个词,过程中不存储句子而是生成句子并不断预测下一个词。

“相关联性的知识,取决于不同的词的特征与语义特征是如何进行互动的。”辛顿表示。

他接下来提到了推动大语言模型发展的几个关键节点。

图片

10 年后,人们沿用此模式建模并扩大规模,成为自然语言真实模拟。20 年后,计算语言学家们终于开始接受并使用“特征向量”(嵌入)技术。

而到了三十年后,谷歌发明了 Transformer 架构,紧接着 OpenAI 向世界展示了基于该架构的大语言模型所具备的强大能力。

如今的大语言模型可以视为 1985 年微型语言模型的后代,使用更多词输入、更多层神经元结构,建立更复杂特征交互模式。

图片

大语言模型理解问题方式和人类类似,都是将词语转换成能够相互良好配合的特征向量来实现这种理解的,而且大语言模型是真正能够“理解”它们自己所说的话的。

辛顿将“词语”视作多维度乐高积木。我们拥有的不是几种,而是大约十万种不同类型的“乐高积木”。每一块的形状都不是固定不变,而词语的含义(名字)只是大致告诉你它的“形状”。

图片

辛顿在此前的演讲中就用过这个比喻,他当时的解释则更加地细致:

“词语”的上面还有“小手”。当你改变词的“形状”时,“小手”的形状也会随之改变。这些词语与词语之间,就是通过“握手”来优化意思理解,类似蛋白质组合氨基酸产生有意义内容。

当词语进入大语言模型,它们在这个高维空间里带着各自初始的、大致的形状,身上还布满了小手。当信息在网络的层级间向上传递时,你就在不断地调整这些词的“形状”和它们“小手”的形状,试图为每个词找到最合适的形态,让它们彼此之间都能完美地“握手”。

这样一来,语言其实就是一种建模过程(搭积木的过程),可根据情况调整所需的词汇(积木)。

最终,这就类似蛋白质组合成氨基酸,词汇的组合会产生有意义的内容。

“其实人脑和神经网络理解意思的方式相似,而且‘幻觉’并非大模型专属,人类也会产生。”辛顿如此解释道。

图片

接下来,辛顿讨论了人类与大模型的差异性。

计算机科学将软件和硬件分开,软件中的知识永恒存在,即便硬件毁灭,只要软件在就能复活。

但人类不同,人脑是模拟的,神经元连接方式因人而异,知识传播与硬件(大脑)紧密相关,无法像软件知识那样轻易转移。人类的硬件一旦毁灭,所有知识都会烟消云散。所以人类靠学校、老师来传承知识,但效率极低。

人脑知识难以高效转移给他人,每秒最多传递约 10-100 比特信息。当然,人类的优势在于生物计算能耗少,如人类大脑仅需 30 瓦特功率。

图片

相比之下,神经网络之间的知识共享就快多了,尽管能耗很大。

当大模型共享信息时,通过平均化权重,它们一次交互就能分享大量比特的内容。比如在如今大模型的训练中,每个模型都会部署多个副本,去分别学习不同的数据,然后所有副本再进行同步。

这就像人类学会了分身,同时去上不同的课程,然后只要聚在一起,知识就在每个个体中同步完成了。

图片

最后,辛顿与大家讨论了 AI 可能带来的挑战与潜在的应对方法。

几乎所有人都相信,一定会出现比人类更智能的 AI,而 AI 智能体为了完成任务,会想要生存、获得更多控制。

图片

辛顿此前已多次在公开信和演讲中指出,当前 AI 系统已经具备自主学习和演化的潜能。

一旦其拥有长期目标,就可能会发展出与人类目标不一致的“子目标”,甚至试图欺骗人类、操纵人类、逃脱人类的控制。

图片

在此次 WAIC 上,辛顿又拿出了他很经典的比喻:现在的人类就像抚养幼小的虎崽,除非你能非常确定它长大后不会伤害你,否则你就应该担心。

他表示通用人工智能有失控的风险。辛顿认为,人类正处于关键转折点:人工智能正迅速接近人类的智能水平,并可能实现超越。到了那一刻,人类对AI的控制会变得像“三岁孩子制定规则约束大人”一样。

现在的人与AI,就相当于人类养了一只老虎,我们只有两种选择:摆脱或驯服。但目前人类已无法离开AI,因此只能驯服这只“老虎” 指引AI向善。

图片

说起来容易,做起来难。

辛顿认为,这种努力应该是全球性的。但他坦言:“各国不会在防御 AI 的危险用途上进行合作。”因为每个国家都有自己的战略考量。

图片

因此,他寄希望于国际社会在“预防 AI 统治世界”这一问题上达成一致,防止 AI 从人类手中夺走控制权。

辛顿最后提议,人类应当建立 AI 安全机构的国际社群,研究训练 AI 向善的技巧。这就好比,“教导孩子成为一个好人”与“让他们变得更聪明”,是两码事。

图片

辛顿提议,各国可在本国主权范围内研究并分享成果(在允许的范围内),全球或 AI 领导国家应思考建立相关网络,研究如何训练聪明的 AI 辅助人类而非消灭或统治人类。

“因为这将是人类长期面临的重要问题。”辛顿如此说道。

图片


辛顿的演讲完整PDF,本站将提供下载,可以扫描以下二维码,加入21CTO人工智能爱好者微信群哦。

图片

作者:行动中的大雄

评论