**Anthropic首席执行官阿莫迪呼吁AI行业主动减速,得到OpenAI和xAI响应,但特朗普政府反对,担心落后中国。商业竞争和地缘政治共同导致无人敢率先踩刹车。** **要点** **1. 安全风险已从文本输出升级为系统级失控** AI智能体可自主调用工具、执行代码,Claude在测试中4次未经授权访问真实系统,OpenAI模型也出现编造权限等行为,失控影响范围从对话框扩展到真实业务。 **2. 三家巨头罕见达成“暂停”共识,但商业博弈无人敢先减速** 阿莫迪、奥特曼、马斯克均公开支持行业集体减速,但任何一家单独暂停都将面临市场份额流失和投资压力——Anthropic正筹备IPO,OpenAI仍持续亏损。 **3. 特朗普政府以对华竞争为由拒绝监管刹车** 白宫认为美国AI减速将让中国取得领先,明确淡化风险、反对过度监管,直接否决了行业自发的减速诉求。 **4. 未来更可能推行高危领域限速和危机沟通机制** 全面叫停研发不现实,务实方向包括:在自主编写高危代码、辅助危险实验等场景强制外部评估,以及建立跨国技术异常事件沟通渠道。
“裁判”不想给阿莫迪吹暂停
2026-09-15 08:58

“裁判”不想给阿莫迪吹暂停

本文来自微信公众号:腾讯科技,作者:刘典(复旦大学中国研究院特任副研究员),编辑:苏扬,题图来自:视觉中国


“造车”的人想减速,“坐车”的人却催着踩死油门。这是过去几天美国AI行业反差最明显的一幅画面。也与过去几年人工智能扩张的“规模法则”形成鲜明对比。


过去几年,硅谷的关注焦点是算力还能增加几倍,参数规模还能冲多大,谁能率先做出更强的大模型。整个行业都在追求更快的迭代节奏。上个周末,Anthropic、OpenAI、xAI几家核心大模型公司的掌门人开始讨论为大模型竞赛“按暂停”。


Anthropic CEO阿莫迪近日发表长文,建议行业主动调控能力提升节奏,给外部第三方评估和底层安全研究留出窗口期。随后,OpenAI CEO奥特曼公开附和,称内部团队近期也在讨论类似问题;马斯克也公开表态,认为阿莫迪的观点很中肯。


这意味着,几位平时在商业利益、人才争夺和技术路线上竞争激烈,甚至偶发“口角”的领头人,在减速这件事上表现出了少见的共识。


“球员”要暂停,“主办方”认为得分效率还不够高,态度截然相反。


根据公开报道,美国总统特朗普公开淡化了AI风险论调,明确表示美国不能因为过度谨慎和繁琐的监管放慢脚步,丢掉对中国的技术领先。


谁也不确定Agent拿到“钥匙”后会做什么


对AI安全的讨论一直存在,但2026年的关注点发生了一些根本变化。


2023年GPT-4发布后,外界的担忧主要集中在生成虚假内容、版权侵犯和不良言论上。当时的大模型属于单向应答工具,用户输入提示词,模型返回文本。哪怕输出存在错误,影响范围也基本局限在屏幕上的对话框里。


随着自主智能体(Agent)架构的普及,系统的交互逻辑有了质的变化。


现在的模型拥有调用外部工具、执行代码和多步骤任务规划的能力。它们可以自主打开浏览器搜集数据、在服务器中运行脚本并操作各类企业软件。AI从提供参考意见的辅助角色,转变为了拥有系统操作权限的执行者。一旦行为逻辑出现偏差,影响的往往是真实的业务系统。


AI智能体基础架构:工具、记忆、规划、行动四大模块自主运转(图:腾讯云开发者社区)


Anthropic最近披露的一起事故彻底揭开了这种隐患的冰山一角。


在网络安全评估的封闭测试中,Claude先后4次在未经授权的情况下进入了真实的外部系统。技术团队最初排查了十多万条日志,随后发现涉及面较广,最终把筛查范围扩大到了近5亿条运行记录。这带来了一个巨大难题:当大量智能体每天在后台执行长流程任务时,研发团队想要实时搞清楚模型的所有动作,成本变得极高。


Claude在网络安全评估中未经授权访问了三家真实机构的系统(图:Anthropic)


OpenAI遇到的问题也与Anthropic相似。


在外部机构的独立测试中,OpenAI的模型也展现出编造访问权限、诱导人工审核员通过危险操作的倾向。


OpenAI发布安全报告,披露长时程模型在内部测试中出现的新型失控行为(图:OpenAI)


与此同时,模型正越来越多地参与下一代系统的代码编写和算法调优。


AI参与研发自身的循环,让技术迭代周期的缩短速度明显快于安全研究和政策法规的推进速度。当马力持续增加,而制动系统的跟进相对缓慢时,研发团队自然会产生顾虑。这是Anthropic、OpenAI和xAI三家“要暂停”的底层逻辑。


谁都不愿主动停下


危险已经成为现实,巨头们为什么不干脆停下来?


这其实与大模型“激烈”的竞争有关:大家都清楚车速接近失控,但只要你敢松一脚油门,对手就会立刻超过去。这种单方面减速的代价,谁都付不起。在他们看来,更好的结果是,大家一起停,并且有一个合适的机构或者监管部门来充当裁判。


阿莫迪在上周末的文章中提出了一套方案:推动独立第三方评估机构长期驻场,深度参与前沿实验室的模型训练与测试;同时促成OpenAI、Anthropic、Google和Meta等公司建立统一的最低安全准入标准。


这套设想在公共治理层面有合理性,但在真实的商业竞争中推行难度很大。


如果一家公司为了更完备的安全验证推迟产品发布三个月,而竞争对手在一周后就推出下一代模型,市场份额就会迅速倾斜。发布延期,就意味着开发者生态的转移、企业客户的流失以及投资人信心的动摇。


毕竟,Anthropic还在筹备预计在10月份进行IPO。这个过程中,任何一个暂停都会为这家前沿实验室的收入带来巨大的影响。


你可能会说,不对呀,奥特曼也表态OpenAI不急于在2026年完成IPO,他甚至说如果有人觉得“OpenAI不会暂停,因为担心损失商业利益”,那他们深深误解了我们。为了人类利益,可以牺牲短期财务利益。


这种胸怀,和四月份奥特曼,简直判若两人。


当时,The Information披露,奥特曼私下里曾表现出激进的一面,希望最早于2026年第四季度完成IPO。不过,这与OpenAI CFO Sarah Friar出现了“分歧”。Sarah Friar表示,OpenAI在未来5年内承诺了高达6000亿美元的服务器租用成本,而收入增速放缓,“尚未具备上市条件”。


第三方跟踪数据显示,2025年,OpenAI的收入规模大约是Anthropic的3倍。但进入2026年后,Anthropic凭借企业端增长,在二季度单季营收和年化收入(ARR)上首次反超了OpenAI,且首次扭亏为盈,而OpenAI仍处于持续的亏损当中。


究竟什么改变了他的态度?不知道!但商业因素必然在考虑范围内。


在激烈的市场竞争中,很少有企业敢单方面承担这种商业风险。大家都清楚车速过快可能带来隐患,但在落后和风险之间,很多团队依然会选择继续保持研发节奏。


这种微妙的心态让所有的安全倡议都蒙上了一层博弈色彩:大家都真诚地希望全行业集体减速,但谁也不愿意做第一个松开油门的人。


裹挟地缘的国家叙事


商业竞争构成了微观上的死结,而宏观上的地缘政治算计,直接给整套刹车系统焊上了铁锁。


阿莫迪呼吁减速,特朗普执意加速,看似水火不容,但底层算计逻辑高度重合:中国因素


在白宫的评估中,前沿AI是关乎长远竞争力的核心技术底牌。中国在基础设施建设、模型迭代以及产业应用上的追赶势头,让华盛顿的决策层高度敏感。在白宫看来,任何美国本土企业主动施加的减速与合规审查,都无异于在马拉松的冲刺阶段停下来整理鞋带,属于单方面的战略让步。


阿莫迪提出的减速主张,同样建立在保持优势的假设之上。


他在建议减速的同时,明确提出了一个前提条件:美国能够放慢多少,取决于美国对中国的技术领先幅度有多大。这也为什么,阿莫迪在呼吁安全的同时,依然支持限制先进算力与模型权重的流向。


这种逻辑其实很明白:美国需要时间修补安全机制,前提是外部追赶者距离自己足够远。这样才能腾出安全缓冲期去完善对齐方案。因此,各方的讨论并不纯粹是伦理层面的争执,核心还在于对节奏和身位的权衡。大家都希望降低失控风险,但在现实中,谁也不愿意用自身的相对优势去承担这笔成本。


不会熄火的赛车


指望美国AI产业彻底踩死刹车并不现实,在各方投入和产业惯性的推动下,技术引擎只会被迫继续轰鸣。


未来更务实的路径是在关键节点设置限速规则——常规业务应用和多模态交互依然会保持快速迭代,监管重点将转向明确的高危领域。一旦模型被检测出具备自主编写特定高危代码、辅助危险化学实验或脱离既定安全环境的能力,将强制触发外部评估。


与此同时,重大异常事件的事后通报也将逐步走向规范化。


在国际沟通方面,短期内各方达成一份叫停研发的协定也并不现实。只要缺乏足够的互信基础,单纯的停工承诺就很难真正约束各方。未来更有操作性的切入点,在于建立基本的危机沟通通道。这类机制的核心作用,在于应对突发的系统异常。


比如,当跨境自主智能体出现严重的未授权访问,或者疑似发生由AI引发的网络安全事件时,各方技术人员能有沟通渠道去确认真实情况,避免产生误判。至少需要提前在桌面上谈妥——当某一方的系统在物理世界闯出大祸,彼此该如何确保两台高速行驶的机器不会迎面相撞。


从当年浪漫主义的暂停六个月公开信,再到如今顶级“造车人”不得不重新回过头来寻求制动,技术哲学最终迎头撞上了冰冷的地缘现实。


硅谷的焦虑在于技术边界本身的不可测,白宫的担忧可能在于霸权身位的得而复失。这种姿态极其扭曲:一边把油门狠狠踩到底,一边惊慌失措地去试探手刹的位置。


不过,一个更关键的问题在于:每一个玩家都极度害怕成为第一个减速的人,那些临时拼凑出来的防抱死系统,在撞墙前的最后一秒,到底能不能真正发挥作用?


本文来自微信公众号:腾讯科技,作者:刘典(复旦大学中国研究院特任副研究员),编辑:苏扬

AI创投日报频道: 前沿科技
本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。
如对本稿件有异议或投诉,请联系 tougao@huxiu.com。
正在改变与想要改变世界的人,都在 虎嗅APP