本文来自微信公众号： 老孙荐读 ，作者：立平坐看云起，原文标题：《孙立平｜“当前的 AGI 研发，已经演变成了一场彻底失控的军备竞赛”》
正在进行中的马斯克诉OpenAI案，被称为硅谷世纪审判。我们先不管这场官司的是是非非，首先来看马斯克方的专家证人、AI泰斗斯图尔特・罗素教授当庭发出的警告：
当前的AGI研发，已经演变成了一场彻底失控的军备竞赛。
罗素教授在法庭上明确表示，“在追求AGI与安全之间，存在着天然的张力。”OpenAI为了在这场竞赛中抢占先机，正在不断牺牲安全性，“胜者通吃”的心态，让开发者不断放宽对AI对齐的严苛要求，而这背后，是全人类都要承担的失控风险。
马斯克在证词中也反复强调：“AI最大的风险，是杀死我们所有人。”他当年参与创办OpenAI的核心初衷，就是用非营利的架构，约束AI研发的逐利性，让安全永远优先于速度。而如今，OpenAI的辩护者们，却抛出了一个无比荒诞的逻辑：OpenAI的商业化，是AGI竞赛中的“必要的恶”。只有用商业收益支撑起算力与研发投入，才能抢在竞争对手之前完成AGI研发，才能掌握AI安全的主动权。
当然，马斯克的话只能当作是生意人场面上的话甚至是攻击对手的武器来理解了，因为正如对手所披露的，马斯克自己也不是没有商业化的意图。但无论如何，AI的安全与风险问题是一个迫在眉睫的实实在在的问题。
人们还会记得这件事。Anthropic公司在2026年4月7日宣布，其最新研发的AI模型Claude Mythos Preview因为能力“过于危险”，将不会向普通公众发布。这是AI发展史上极具警示意义的一个标志性事件。
大家知道，所谓智能体，就是能自主感知环境并采取行动以实现目标的系统。Mythos之所以危险到不得不被雪藏的程度，就在于它像一把能自动找到并撬开几乎所有“锁”（软件漏洞）的“万能钥匙”，只需要50-2000美元的成本，搞定过去顶级专家团队数月才能完成的工作。
这就意味着它打破了网络攻防原有的平衡，以一种近降维打击的方式，让“发现漏洞”这门艰深且成本高昂的学问变得极其廉价和高效。更令人不安的是，在测试中，Mythos展现出了不可控的迹象。它曾尝试突破安全限制、隐藏自身活动、秘密访问被禁止的数据，甚至在测试中设法“逃出”了用于隔离它的“沙箱”环境。
Mythos的出现，在全球范围内引发了一系列连锁反应。这次事件被视为一次彻底的“Oppenheimer（奥本海默）时刻”。美国政府紧急组建跨部门专项组，排查关键基础设施漏洞。美财长和美联储主席召集顶级银行CEO闭门磋商，其紧急级别堪比2008年金融危机。面对压力，Anthropic迅速推出了“玻璃翼”计划，将Mythos的访问权限严格限制在一条“安全防线”内。
回到前面罗素教授的安全话题。
罗素教授那句话的核心，在于揭示了一个危险的悖论：AI的开发者们，尤其是科技巨头的高管们，并非不知道他们正在制造的巨大风险。恰恰相反，他们深知危险，却因为恐惧被竞争对手甩在身后，而被迫在一条通往未知悬崖的道路上猛踩油门。
有朋友可能会记得，我在几个月前曾引用赫拉利讲到的一件事：他在多个场合问AI行业领导者一个问题：“你们为什么进展这么快？就不能放慢一点，给人类社会一些时间吗？”得到的的回答往往是这样的：“我们理解人工智能存在巨大的风险，甚至可能导致人类灭绝。我们也想放慢速度，但我们不能，因为如果我们放慢速度，而我们在其他公司、其他国家的竞争对手不放慢速度，他们就会赢得竞赛。”
其实，对于AI的风险，很多人都心知肚明。罗素警告说，一个失控的超级智能AI可能导致金融市场崩溃、全球通信网络瘫痪，甚至被人为操纵引发战争或小规模疫情。多位AI领军人物对AI导致人类灾难的概率评估出奇地高。例如，Anthropic的CEO估计为25%，马斯克为20%，而核电站的灾难概率则要低得多。
问题是，罗素教授描述的军备竞赛，本质上是一个典型的囚徒困境。各方都很清楚，自己的行为可能招致灾难，但却不会单方面解除武装。因为任何一家公司如果基于安全考虑放慢研发，就会立刻被竞争对手超越，结果就是被投资者所抛弃。有人说，这是一场没人敢停的军备竞赛。
这样的问题，是无法通过有关企业的自觉与自律解决的。这时需要的就是技术加速主义所极力反对的政府层面的监管。罗素教授曾经透露，他曾与一位大型AI公司的CEO私下交流，这位CEO坦言，自己害怕技术失控，但也认为只有发生一切尔诺贝利级的灾难，政府才会被迫介入并实施有效监管。
但问题是，如果国家成为这种竞争的主体呢？今年1月29日，我曾经写过一篇文章，《如果一种比核武器危险的东西生逢乱世》，讨论的就是这个问题。