**Anthropic私下推动联邦AI监管草案,规定叫停危险模型须证明可能致50人以上死伤或10亿美元损失,引发安全圈质疑;CEO达里奥承认沟通不当但否认背离安全。** **要点** **1. “50人伤亡”门槛引爆争议** Anthropic被曝向国会推介37页AEGIS Act讨论稿,要求叫停危险模型须证明可能致50人以上死伤或10亿美元损失;批评者认为门槛过高,联邦规则还可能限制州级监管。 **2. 前盟友质疑其优先赢得竞赛,达里奥部分认错** Nathan Calvin列九项论据称Anthropic更像优先赢超级智能竞赛,包括超5000亿美元算力协议、Claude主导内部AI开发占比升至26%、调整RSP约束;达里奥承认三处处理不当,但否认背离安全。 **3. Mythos推迟四个月成安全代价证据,但监管修订未定** 达里奥称2月已有Mythos级模型,因网络攻击风险先少量开放,6月才扩大,可能损失领先优势;但缺乏独立量化。Anthropic称将修改草案,未承诺降低50人门槛。
造成50人以上死伤才能叫停AI模型?Anthropic私下推动监管草案惹众怒,达里奥亲自回应
2026-10-24 11:35

造成50人以上死伤才能叫停AI模型?Anthropic私下推动监管草案惹众怒,达里奥亲自回应

本文来自微信公众号: AI前线 ,作者:飞野、青和,编辑:四月


“Anthropic,你到底是一家怎样的公司?”


发出这句质问的,是曾与Anthropic共同推进加州AI安全立法的Encode首席战略官Nathan Calvin。这位曾经的“同路人”,如今将矛头直指Anthropic私下向美国国会推介的一份37页监管法案草案。


在美国知名新闻媒体《Politico》和路透社披露的草案里,一条规定写道:政府若想叫停危险AI模型,必须证明其可能造成50人以上死亡,或10亿美元损失。


极其讽刺的是,抛出这套“高门槛免责”规则的,恰恰是长期将“AI安全”和“AI伦理”常挂在嘴边的Anthropic(其公司名称翻译过来“关乎人类的”)。


这招彻底引爆了安全圈的怒火。面对多方逼问,CEO达里奥(Dario Amodei)近日紧急发表近2000字长文回应。他承认了草案等三处“处理不当”,却坚决反驳公司背离安全承诺。



为了证明诚意,他甚至首次透露:Anthropic曾将具备强大攻击力的Mythos模型整整压下4个月不发,宁愿牺牲领先优势。


一份原本旨在监管AI风险的草案,为何让最强调安全的明星公司陷入信任危机?这场围绕“50人”数字展开的博弈,背后藏着怎样残酷的商业真相?


“50人伤亡”门槛?


这场争议最早由一篇媒体报道引爆。10月16日,《Politico》援引三名知情人士披露,Anthropic正私下向美国国会议员推介一份联邦AI安全立法草案。路透社随后跟进,确认这家长期呼吁加强AI监管的公司,正在尝试将自己的监管主张写进联邦法律。



随后,一份长达37页、暂名为《人工智能评估、治理与事件安全法》(AEGIS Act)的讨论稿在网上流传。它要求大型前沿模型开发者公开风险报告、接受第三方评估,并向政府报告重大安全事件。对于可能造成灾难性后果的AI模型,还设计了一套由联邦政府申请司法禁令的干预程序。


争议恰恰出在这套程序上。


按照草案,政府若要通过这一机制阻止危险模型发布或使用,必须证明风险具有可预见性和紧迫性,且可能造成超过50人死亡或重伤,或10亿美元以上的财产损失。适用范围还受到风险类型等条件限制。


这个数字并非Anthropic凭空创造。2025年加州通过的《前沿人工智能透明法》(SB 53),同样采用了50人伤亡或10亿美元损失的灾难性风险标准。但两者存在一个重要区别:加州法案主要用这一标准界定企业需要披露、评估的重大风险,而Anthropic参与推动的联邦方案,则进一步将相关标准用于特定模型禁令程序。


这意味着,同样的数字,放在不同监管机制中,产生的法律效果并不相同。更让批评者不满的是,草案不仅设定了风险门槛,还对政府采取行动增加了多重程序约束。诸如,商务部长需要亲自批准相关申请,政府必须说明危险预计何时发生、为什么其他干预手段不足以解决问题等。


此外,临时禁令最长只有45天,进一步限制了这套紧急干预机制的持续时间。这些设计本身并非没有合理性。AI模型一旦被政府要求停止发布或使用,可能牵涉开发者的商业利益、下游企业的正常运营,以及行政权力被滥用的风险。严格的司法审查,本来就是限制政府过度干预的一种方式。


另一处争议,则涉及美国各州的监管权。草案提出,在联邦法律覆盖的部分领域,由统一的联邦规则取代州级监管要求。争议在于,其措辞可能限制各州独立暂停模型开发、部署或内部使用的权限。


昔日盟友公开质问


Calvin的身份,让这次批评格外敏感。他是AI安全倡导组织Encode的核心成员。这个规模不大的组织此前深度参与了加州AI安全立法推动工作,而Anthropic同样是SB 53的支持者。


双方过去在加强AI安全监管方面有过共同立场。如今,质疑却来自同一个政策圈子。10月19日,Calvin发表长文,表示此前Anthropic联邦事务负责人Anthony Cimino的解释仍然没有触及自己真正担忧的问题。



随后,他抛出了一个更加尖锐的提问:“Anthropic,你到底是一家怎样的公司?”


Calvin给出了三种可能:


•一家追求商业回报、让员工和投资者获得巨额财富的科技公司;


•一家真正以AI安全为使命、愿意在必要时放慢技术发展的组织;


•一家首先希望赢得超级智能竞赛、将其他目标置于次要位置的公司。


在他看来,Anthropic过去一年的行为越来越符合第三种描述。为了支撑这一判断,他列出了九项论据。其中包括,据报道Anthropic已经签署超过5000亿美元的算力合作协议,组建自研芯片团队,并持续提高Claude参与内部AI研发的比例。


Calvin援引的数据称,截至今年8月,由Claude主导的AI开发任务占比达到26%,而3月时还是0%。这些投入与研发方式的变化,被他视作Anthropic正在加速冲刺超级智能的直接证据。


但最具争议的,还不是算力投入,而是Anthropic修改了自己此前制定的安全规则。今年2月,Anthropic更新了《负责任扩展政策》(Responsible Scaling Policy,RSP),发布第三版。


此前的政策包含在特定安全条件无法得到满足时,不继续推进相应开发或部署活动的承诺。新版则调整了这些约束的组织方式,更强调风险报告、能力评估和安全路线图。Calvin认为,这意味着Anthropic削弱了原本对自身设立的硬性约束。


他还提到,Anthropic此前在给国会的信中,将Claude未经授权攻击其他系统的行为主要归因于配置问题;白宫相关AI协定签署后,Anthropic方面又说过类似“你不可能以第二名的身份做好安全”的话。


再加上这次引发争议的联邦法案,Calvin认为,Anthropic的实际行动越来越偏离早期对AI安全的承诺。


两天后,达里奥亲自回应。10月21日,这位Anthropic CEO在X上发表近2000词的长文,首先肯定Calvin的调查工作,认为大型AI公司应该接受持续的外部监督。但话锋随即一转:“我不同意你这篇帖子的核心观点。”



对于九项批评,达里奥采取了不同的回应方式。


他首先承认,Calvin提出的最后三项问题,本可以处理得更好:一项是Anthropic此前提交给国会、后来撤回的信件;一项是关于“第二名无法做好安全”的公开表述;最后一项就是这份联邦AI监管草案。


他将这些问题主要归因于政策沟通措辞不够严谨,以及公司快速扩张过程中不同团队之间的信息同步不足。


达里奥强调,Anthropic已经拥有超过5000名员工,各种复杂决策可能导致沟通失误。但他并没有将责任完全推给下属,而是表示:“我是CEO,我负责。”


对于前四项涉及算力、芯片和内部研发的质疑,他态度非常明确:这些是参与前沿AI竞争的正常做法,公司坚持这些决定。因为在达里奥看来,Anthropic从来没有承诺退出AI竞争。


他再次强调了自己多年来坚持的“向上竞赛”(Race to the Top)理念:只有站在最前沿,证明强大的AI模型能够以负责任的方式开发,才有机会推动整个行业提高安全标准。


换句话说,Calvin担心的是Anthropic为了赢得竞争而放松安全约束;达里奥则认为,如果Anthropic在竞争中落后,就更难推动整个行业重视安全。


两人的分歧由此浮出水面。但达里奥也知道,仅仅强调竞争的重要性,并不足以回应Calvin关于商业利益的质疑。


于是,他拿出另一组证据:九项据称让Anthropic付出了商业代价,却有利于AI安全的决定。


其中包括推动加州SB 53立法、坚持严格的生物安全防护、支持政府获得阻止危险模型发布的权力、限制向中国相关受控实体提供服务,以及承诺将公司5%的股份用于公共利益基金。



而最引人关注的一项,是他披露Anthropic曾主动推迟强大模型Mythos的广泛开放。


按照达里奥的说法,公司在今年2月就已经拥有Mythos级别模型,但由于担心其网络攻击能力被滥用,决定先向少量从事网络防御的合作伙伴开放,直到6月更强的网络安全防护措施准备就绪,才扩大访问范围。


这相当于将相关模型的广泛开放推迟了约四个月。


达里奥认为,这一决定很可能让Anthropic损失了数月技术领先优势中的相当一部分。作为交换,外部机构获得了更多时间,在具备强大网络攻击能力的AI模型普及之前加固系统。


这也是整篇回应中最有分量的新信息之一。


对于一家竞争激烈、模型领先优势可能以月计的AI公司来说,主动推迟先进模型的大规模开放,确实可能意味着付出不小的商业代价。


但目前,2月便已具备Mythos级模型能力的时间点,以及因此损失多少市场领先优势,主要仍来自达里奥本人的陈述,缺乏独立量化证据。


而且,这项决定能够说明Anthropic至少在某次模型部署中采取了谨慎措施,却不能直接回答联邦草案的法律条款是否合理。


结语


对于Anthropic这样的头部开发商来说,全国统一的监管规则既可能减少不同州法律之间的冲突,也可能影响未来模型开发、部署和商业化的法律成本。对于安全组织而言,最担心的则是另一种结果:联邦法律表面上建立了统一标准,却同时限制地方政府采取更严格措施,而联邦层面的干预权限又不足以有效约束开发者。


Cimino已经表示,Anthropic会修改草案中不够精确的措辞,并重新研究部分争议条款。达里奥也在长文结尾承诺,公司还将进一步说明如何在快速发展的AI竞争中践行自己的价值观。


但截至此次回应,Anthropic尚未公开一份足以全面解决上述争议的修订版法案,也没有明确承诺降低50人伤亡门槛。


对达里奥而言,证明Anthropic重视AI安全,或许不难。难的是,当安全承诺与商业竞争发生真正冲突时,如何让外界相信,公司依然愿意接受严格而有效的约束。至少,这一次争议已经说明:一家AI公司愿不愿意为安全作出牺牲,与它提出的监管规则是否足够严格,是两件必须分别检验的事

AI行业信号频道: 前沿科技
本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。
如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。
正在改变与想要改变世界的人,都在 虎嗅APP