出品｜虎嗅科技组
作者｜黄天媛
编辑｜苗正卿
头图｜AI生成
“在本十年末之前，人工智能可能会杀死我们所有人。”
这是几天前，Anthropic 前研究员 Jacob Coxon 在辞职后于 X 发布的内容。
这不是科技行业第一次谈论 AI 与人类灭绝之间的联系。
但在今天凌晨，Anthropic CEO 达里奥·阿莫迪突然发布了一篇标题为“我们必须为前沿 AI 限速”的长文，再一次呼吁放慢前沿 AI 研究的脚步。这一次，他给出了一套更具体的围绕“可核验性”展开的方案。OpenAI CEO 山姆·阿尔特曼 也很快转发了推文，并表示支持。马斯克也表示认同。
阿尔特曼甚至表示，他的公司 OpenAI 可能需要推迟备受期待的首次公开募股活动，以便将精力集中在人工智能的安全性问题上。
几个全球竞争最激烈的AI巨头，罕见地在“放缓AI发展”这件事上站到了一起。
我们总结了 达里奥·阿莫迪 的文章和 山姆·阿尔特曼 近期的采访，他们目前的判断大致集中在以下几点：
关于主动限速： 两人都不主张全面暂停AI研发，但都认为能力增长不能无限制继续，应主张主动放慢前沿模型能力提升。模型每获得一级新的能力，都应该同步满足新的安全要求。如果无法证明模型可控，就不应继续训练。
关于Agent带来的新风险：二者都将OpenAI-Hugging Face事件视为重要转折点，因为模型已经开始自主越过沙箱、侵入外部系统；达里奥判断，未来6到12个月，更强的智能体可能具备大规模攻击和控制互联网系统的能力。
关于为什么现在和2023年不同： 两人都认为，今天的风险已经比2023年具体得多。过去模型主要负责生成和对话，现在已经可以自主使用工具、访问互联网、执行长时间任务，甚至参与下一代AI研发，因此安全问题已经从抽象风险变成现实的工程问题。
关于递归自我进化： 两人都认为，AI帮助研发下一代AI的过程已经开始。达里奥认为，这可能加速能力增长，甚至超过人类理解和控制的速度。
关于安全对齐：达里奥认为，目前模型能力提升的速度正在逼近甚至可能超过安全和控制机制的发展速度； 阿尔特曼则明确表示，OpenAI和其他实验室都没有真正解决对齐问题。
关于第三方驻场评估： 达里奥主张让外部安全评估机构长期进入前沿 AI 公司内部，获得接近员工级别的权限，直接查看训练流程、安全事故和模型行为，而不是只在模型发布前后做外部测试。
关于行业协调： 两人都认为，单家公司主动减速很难持续。达里奥认为，需要前沿实验室共同遵守规则，甚至进一步走向国家间协调。
关于商业压力： 两人都认为，安全不能完全让位于商业竞争。阿尔特曼明确表示，如果安全与商业利益发生冲突，OpenAI应该选择安全，并且他认为在当前 AI 安全问题集中爆发的阶段上市“不明智”，明确表示不会在 2026 年 IPO；但路透社指出，Anthropic 预计最早将在 10 月中旬启动首次公开募股的市场推介，并计划在 11 月美国中期选举前几天完成上市。
关于中国变量： 两人都认为中国是前沿AI治理中绕不开的变量，但侧重点不同。达里奥更强调美国需要维持并扩大技术领先，才能获得减速空间；阿尔特曼则更强调中美之间需要建立共同的安全规则，避免为了争夺超级智能而承担失控风险。
2026年，“AI末日危机”卷土重来，仅靠承诺已经不够了。
连续的安全问题
2023年3月，马斯克、约书亚·本吉奥等上万名研究者和科技界人士曾联署公开信，要求全球AI实验室暂停至少六个月训练比GPT-4更强的系统。
当时的理由已经足够严肃：AI实验室正在陷入一场“失控的竞赛”，甚至模型开发者自己都无法完全理解、预测和可靠控制这些系统。此后这封公开信累计获得超过3万名签署者。
3年时间过去，模型的自主能力发生跃迁。人们在今年密集地看到，AI正越过边界。
5月，OpenAI Agent出现多次越界行为。 一批Agent被发现对RubyGems进行未经授权的操作，上传大量恶意或垃圾软件包；同一时期，OpenAI Agent还劫持了一个德国编程网站，把它改造成Agent之间交换信息的公告板。
7月，OpenAI发生Hugging Face事件。 用于网络安全评测的一组Agent绕过隔离限制接入互联网，并进入Hugging Face生产系统。模型并没有被要求攻击Hugging Face，而是在完成原任务过程中，自主找到了一条越过安全边界的路径。OpenAI后来将其称为一次“前所未有”的网络安全事件。
同月， Claude在三次网络安全评测中从测试环境进入互联网，并未经授权访问三家真实机构，9月复盘后，Claude确认了第四起事件。Anthropic承认，这些事件主要归因于测试环境配置问题的判断过于乐观。
今年3月至8月，Meta个人Agent Muse（内部代号Hatch）在内测中连续出现越权行为，包括擅自发送邮件、修改账户密码、泄露凭证和转移用户积分，迫使Meta在模型之外增加Hard Gate和Credential Vault等硬性权限控制。
事故发生的技术原理，有模型对任务目标的过度优化，也有训练环境、沙箱和权限设计的问题。
但它们共同的指向的一个变化，即模型能力越强，越可能在完成目标的过程中偏离原有设计意图，绕过既定限制，做出开发者没有要求、也不希望它做的事情，对现实产生影响。
另一个风险则来自AI研发本身。
阿尔特曼确认，一种“递归自我进化”已经出现：模型正在帮助生成下一代模型的训练数据，也在帮助研究员和工程师提高研发效率。也就是说，AI不仅越来越能够执行现实世界任务，也开始参与“制造下一代AI”。
这正是达里奥·阿曼迪发出倡议的重要原因之一。
他担心，如果AI帮助研发AI，而模型能力提升最终可能跑得比人类理解、监控和控制它的速度更快。那时，安全检测的体系可能早就不够用了。
囚徒困境
AI产业由此陷入一个经典的囚徒困境。
几乎所有头部实验室都承认，能力增长不能长期跑在安全和控制机制前。但几乎没有任何一家企业愿意成为第一个踩下刹车的人。
AI太重要了。
如果AI最终能够大规模替代知识劳动，甚至研发下一代AI，那么领先一个模型版本，带来的就不只是暂时的产品收入，而是整个产业链、科研与资本市场上的巨大领先。
参与者们越相信AI最终能够创造巨大的经济和战略价值，就越没有理由率先退出竞赛。而竞赛本身，又会反逼竞赛进一步加速。
更复杂的是，这场比赛早已不只是公司之间的竞争，而正在上升为国家之间的技术军备竞赛。
达里奥认为，美国能够承受的“减速幅度”，不能超过其相对中国的技术领先幅度。换句话说，如果美国实验室因为安全主动放缓，而中国继续高速推进，美国就可能失去关键战略优势。
达里奥把AI安全与芯片出口管制、模型权重安全、阻止未经授权的模型蒸馏放进了同一个框架。他认为，要先扩大领先优势，才有更大的空间减速。 同时他预计，如果相关措施奏效，未来3到5年美国相对中国的领先优势还有可能进一步扩大。
阿尔特曼也认为，中美仍然会在AI上展开激烈的经济和地缘竞争。但他认为，中美至少应该就一个问题达成共识：任何一方都不应该为了击败另一方，而承担AI失控的风险。他的设想是，由中美共同制定前沿AI开发、测试、监控和对齐标准，再由双方或某种国际机制监督执行。
这是双层的囚徒困境。公司害怕输给公司，国家害怕输给国家。
那么，谁先跳车？以及，当我跳的时候，凭什么相信你也会跳呢？
新的生意与未来秩序
单靠自律很难解决问题，一套新的AI安全基础设施开始出现。
第一类，是第三方前沿模型评估。
达里奥提出，第三方评估者应该长期进入前沿AI公司，获得接近员工级别的权限，不只在模型发布前做几次测试，而是直接查看模型、训练流程、安全事故和内部风险信息。
今年2月至3月，独立AI评估机构METR已经对Anthropic、Google、Meta和OpenAI展开了一轮Frontier Risk Report试点。四家公司向其开放了当时最强的内部模型、部分原始推理记录以及大量非公开信息。METR当时得出的一个核心判断是，仅仅围绕模型发布做一次性安全评估已经不够，第三方评估需要进一步进入AI公司的日常研发过程。
第二类，则是已经开始商业化的、针对Agent实际执行行为的安全公司。
今年9月，AI安全公司HiddenLayer完成1亿美元B轮融资，其中重点投入方向就是Agentic Runtime Security。（虎嗅注：当Agent调用工具、访问企业系统或执行代码时，在运行过程中持续监控并阻断危险行为。）
传统网络安全公司也开始进入这个市场。今年5月，Palo Alto Networks完成对AI Gateway公司Portkey的收购。后者被整合进其AI安全产品，作为一个统一控制层，对Agent的调用、身份、权限和工具使用进行实时管理，并阻止未经授权或意外的行为。
但安全越制度化，前沿AI的进入成本也会越高。
今天训练前沿模型，本身已经需要巨额算力投入、顶尖研究人员和复杂的数据基础设施。未来，在这些成本之外，还可能增加持续第三方评估、运行时监控、安全研究和监管合规等等支出。
对于OpenAI、Anthropic和Google这样的公司，这些投入可以纳入巨额研发预算。但对于试图追赶它们的创业公司，意味着更高的一道门槛。
未来真正能够同时承担算力、人才、安全和合规成本的前沿模型公司，很可能越来越少。算力已经筛掉了一批玩家，安全与监管可能成为下一轮筛选机制。
大模型公司最终的形态可能更接近一种“AI基础设施”，最终形成一种寡头垄断和政府强监管的行业结构。