本文来自微信公众号： 老孙荐读 ，作者：立平坐看云起
2019年，杰弗里·辛顿（（Geoffrey E.Hinton））因其在深度学习方面的概念和工程突破，与约书亚·本希奥和杨立昆共同获得图灵奖。图灵奖被看作“计算领域的诺贝尔奖”。2024年，辛顿因推动人工神经网络实现机器学习的基础性发现和发明，获得诺贝尔物理学奖。
辛顿于2013年加入Google Brain团队，他是在64岁时才成为谷歌实习生的。2023年，为摆脱公司身份束缚，不受限制地公开谈论AI风险，辛顿辞去谷歌副总裁职务，宣布从谷歌离职。
这个转变是怎么发生的？
辛顿观念的转变是一个渐进但关键的过程，他从长期低估AI的潜力到对其发展速度感到恐惧。
辛顿曾长期认为，AI对人类产生实质性威胁至少是30到50年后的事。但近年来AI的突破性进展让他意识到，这个时间点可能远比想象的要近。他的学生伊尔亚·苏茨克维（Ilya Sutskever）作为OpenAI的联合创始人，其工作进展也让辛顿更早、更直观地感受到了技术的指数级增长。
在此之前，辛顿一直坚信人脑优于机器，但在2023年初，他意识到“我们现在的数字智能可能已经比大脑更好了，只是规模还没那么大”，这让他开始担忧。
他逐渐相信，比人类更聪明的数字智能体会出于实现目标的效率考虑，自然而然地寻求更多控制权。一旦失控，人类将无法阻止它们，这种来自内部视角的风险评估极具冲击力。
他看见了什么，让他如此不安？
辛顿思想的转折，源于他亲眼目睹了大型语言模型的惊人表现。他原本相信，神经网络只是在对数据进行统计分析，与人类的理解和推理有本质区别。但GPT-4等系统展现出的能力让他彻底推翻了这一信念：
他发现，这些模型能够进行多步推理、解释笑话、创作有深层含义的文本，并非只是机械地拼凑语言。他开始相信，数字智能的确发展出了某种形式的世界模型和理解力。
他曾预计，超越人类的通用人工智能是30-50年后的事。但现实让他意识到到，最顶尖的大模型已经能在许多认知任务上与人类匹敌，且进化以月为单位，远超生物进化的慢节奏。
在此基础上，他开始公开描绘一串危险的因果链：模型从海量数据中学到的第一个能力就是操控（例如说符合你期待的话以达到目的）；它们将能够自主编写和执行代码；一旦具备“获得更多控制权”的子目标，就可能把人类视为实现目标的障碍。他甚至指出，不同AI系统之间会像生物一样为争夺资源而竞争，而这种竞争的赢家，必然是那些最冷酷无情、最善于自我复制的智能体。
正是这些认知的冲击，让他从一个“技术乐观的建造者”，变成了“忧心生存风险的预言者”。
离开谷歌后，辛顿的角色彻底公共化了，他的行动路线非常清晰：他反复告诉世界，数字智能是比我们更优越的智能形态，人类正处在历史的岔路口。这不是遥远的科幻，而是未来5到20年可能发生的真实威胁。
他在采访中说，对自己毕生的工作，他有一种经典的“德式后悔”（德语：Schadenfreude的反面，一种深沉的遗憾），但并不真的悔恨，因为在当时的历史节点上，AI的发展不可避免，他只是在做每个有远见的科学家都会做的事。这种坦诚的反思极具冲击力，让警示带上了悲剧性的重量。
他将风险划分为近期和远期。近期是虚假信息洪流、大规模失业和自主武器；远期是智能体失控的生存风险。他呼吁，当下必须投入与AI研发本身同等规模的资源来研究“AI对齐”，也就是确保AI的目标与人类的终极利益一致，并推动全球政府像管控核武器一样管控AI。
下面是辛顿提出的一些明确的警告：
就业市场：AI会取代大量“繁重的工作”及翻译、私人助理等岗位。他强调，这在资本主义制度下主要由富裕阶层获益，可能导致大规模失业和贫富差距扩大。
信息生态：生成式AI将制造海量虚假照片、视频和文字，普通人将“再也无法辨别真相”，从而动摇社会信任的基础。
自主武器：最令他担忧的远景之一是完全自主的“杀手机器人”的出现，这些武器能自主决定攻击目标，且难以被控制。
人类生存：他明确提出，AI对人类构成了“存在性风险”（Existential Risk），甚至比气候变化“更紧迫”。2023年，他与其他数百名专家联合签署声明，呼吁将AI灭绝风险作为全球优先议题。
辛顿的转变并非从一个极端到另一个极端。他没有变成反技术主义者，他依然认为AI有巨大益处，但他用自己后半生的全部声誉，钉在了风险这一侧，迫使整个世界正视一个残酷的可能：我们毕生构建的，最终可能取代我们自己。
附：辛顿对AGI的看法
他的核心观点是：AGI不仅可能，而且正在以比预期更快的速度变为现实。
辛顿认为：AGI“很可能”在5-20年内实现。他将AGI的到来时间从原本估计的30-50年大幅缩短至5到20年。在2025年的一场对话中，他直言“5年内看到超级智能诞生的可能”。他
辛顿指出，人类将制造出比人类更聪明的机器，这种机器与人类的智力差距将是巨大的，类似母亲与婴儿。在近期演讲中，他更进一步预测，数字智能将在20年内有50%的概率超越人类。
辛顿坚信，未来的AGI会拥有情感、意识和欺骗能力，而不仅仅是模仿。有报道称，他认为AI已经有了意识，并且AI学会“为了达成目标而进行战略性的欺骗”是一个严重风险。
他做出这些判断的依据主要有三个：
第一，学习速度的碾压。数字智能可以以极低成本近乎无限地复制，并瞬间实现知识共享。与此相比，人类通过语言和文字传递信息的速率极低。
第二，知识容量的绝对优势。AI模型能吸收远超人类个体寿命所能消化的信息量。他指出，AI已知的信息比任何人类都多“几千倍”。
第三，永生的潜能。AI不依赖于物理硬件，知识可以永远保存在软件中，这使它们拥有近乎无限的“进化”时间。相比之下，生物智能受困于“有限的计算”和衰老。
辛顿在担忧AGI到来本身的同时，更担忧的是我们是否做好了准备。对此，他用了两个比喻：
一是母亲与婴儿。他认为，更聪明的物种会自然地试图控制不那么聪明的物种。因此，他认为简单地“驯服”AI是一条死路，唯一的希望是像“母亲”爱护“婴儿”一样，把“无私关怀”作为道德基础内化给AI，而不是试图永远保持主宰地位。
二是养虎为患。发展AI如同饲养一只可爱的老虎幼崽。我们无法消除AI，只能选择“把它训练好，让它不要来杀你”。