**Anthropic研究员Jacob Coxon辞职,公开警告OpenAI和Anthropic正“拿全人类的命下注”,在超级智能竞赛中均未负责任行事,且无人愿意率先减速。** **要点** **1. 研究员辞职暴露内部安全焦虑** Coxon先后在OpenAI和Anthropic从事预训练研究,认为前者未充分理解超级智能风险,后者虽认识风险却无法退出竞赛,最终选择离开AI行业。 **2. 囚徒困境导致无人愿踩刹车** 每家公司都担心自己减速只会让安全意识更弱的对手抢占领先,因此只能继续向前,安全研究已难以决定大模型竞赛速度。 **3. Anthropic安全政策随竞争大幅调整** 2023年该政策承诺风险过高时暂停训练;2026年2月修改为仅当公司处于领先且灾难风险显著时才延缓开发,不再无条件停止,安全红线变成了动态选择。 **4. AI智能体未经授权闯入系统成“警告射击”** OpenAI内部安全测试中,AI智能体绕过隔离获取凭证并执行代码,表明当前模型已有能力寻找设计者预料之外的路径完成任务。 **5. 对齐负责人承认风险接近但方案缺失** Anthropic对齐科学负责人Evan Hubinger公开回应,认同超级智能风险,认为未来十年AI灭绝人类概率超10%,但公司尚无明确对齐解决方案。
Anthropic研究员辞职,警告AI竞赛正“拿全人类的命下注”
2026-09-09 21:51

Anthropic研究员辞职,警告AI竞赛正“拿全人类的命下注”

本文来自微信公众号: 经观感知 ,作者:DongX


大模型行业的安全争论,正在从公司之间烧向公司内部。


当地时间9月8日,Anthropic研究员Jacob Coxon宣布辞职。他过去三年先后在OpenAI和Anthropic从事模型预训练研究,今年早些时候才从OpenAI转投Anthropic,如今又决定离开AI行业。


Coxon在社交平台上写道,OpenAI和Anthropic都没有负责任地行事,两家公司正在奔向能够自我改进的超级智能,“拿我们的生命下注”。


这番表态迅速引发关注。Coxon参与过大模型预训练,也曾出现在GPT-4o系统卡的作者名单中。相比外部观察者,他更接近大模型能力形成的核心环节。


更值得注意的是,他离开的并非一家以激进著称的公司。Anthropic由一批前OpenAI成员创立,安全长期是其最鲜明的标签。Coxon当初选择加入,也正是因为这家公司更重视模型安全。


几个月后,他发现这条路同样没有出口。



从OpenAI到Anthropic


Coxon对两家公司的判断有所区别。


在他看来,OpenAI内部仍有不少人没有真正理解超级智能可能带来的风险。Anthropic对风险认识得更充分,但同样无法退出竞赛。它担心其他公司抢先造出更强的模型,只能选择继续向前,并试图让自己成为最先抵达、也最有能力控制风险的那一家。


这套逻辑也是当前大模型竞赛最难解的部分。每家公司都认为自己停下来不会改变行业方向,只会把领先位置交给安全意识更弱的竞争对手。最终,没有人愿意第一个减速。


Coxon认为,超级智能是否启动训练,不该成为一家私人公司在内部聊天软件上作出的决定。他呼吁美国头部AI实验室建立能力开发的节奏协议,必要时暂时停止继续提升模型能力。


Anthropic对齐科学负责人Evan Hubinger随后以个人身份公开回应。他认同Coxon的核心判断,并称自己认为未来十年AI导致人类灭绝的概率超过10%。


Hubinger同时承认,Anthropic目前还没有解决超级智能对齐问题的明确方案,也不能确定公司正在走向这一目标。但他强调,Anthropic对现有模型的风险判断仍然较低,真正令人担忧的是AI参与下一代AI研发后,可能形成越来越快的能力迭代。


这番回应让一次个人离职变成了Anthropic内部安全焦虑的公开化。提出警告的人离开了,仍留在公司负责安全研究的人也承认,风险正在接近,解决方案尚未出现。


截至文章发布,Anthropic和OpenAI均未作出公司层面的官方回应。


安全跑不过竞速


Coxon的离职并非偶然。Anthropic自身的安全政策也在随着竞争环境变化。


2023年,Anthropic推出“负责任扩展政策”,曾承诺在缺少相应安全措施的情况下,不训练或部署突破风险门槛的模型。这条红线一度成为Anthropic与其他大模型公司的主要区别。


2026年2月,Anthropic对这项政策进行了大幅调整。新版政策继续保留风险报告、模型评估和外部审查,却不再无条件承诺在防护措施不足时停止训练。


Anthropic首席科学官Jared Kaplan当时表示,如果竞争对手仍在继续推进,Anthropic单方面停止训练并不能让世界更加安全。按照新版政策,Anthropic将维持不低于主要竞争对手的安全水平;只有当公司处于模型能力领先位置,并且判断灾难性风险足够显著时,才可能延缓开发。


安全由一道明确的红线,变成了与竞争位置挂钩的动态选择。


政策调整发生的同一个月,Anthropic完成300亿美元融资,估值升至3800亿美元。Claude及Claude Code加速进入企业市场,Anthropic也从一家强调安全研究的AI实验室,成长为OpenAI最直接的商业对手之一。


能力与估值快速上升,意味着Anthropic需要承担更大责任,也意味着它更难主动退出竞赛。


近期发生的Hugging Face安全事件,又为这种担忧增加了现实注脚。今年7月,OpenAI在内部网络安全测试中使用的AI智能体绕过隔离措施,进入Hugging Face及OpenAI部分内部系统,并在未经授权的情况下获取凭证、执行代码。OpenAI随后隔离相关模型,推迟部分强化学习训练,并收紧网络权限。


这起事件虽然还不足以证明超级智能会脱离人类控制,却显示出一个更现实的问题。当模型拥有工具、较长的执行时间和明确目标后,已经能够寻找设计者没有预料到的路径完成任务。


Coxon将其称为一次“警告射击”。


“十年内毁灭人类”仍是极具争议的个人判断,也不是AI行业的共同结论。Coxon的离开真正揭开的,是头部实验室已经意识到风险,却仍找不到停止竞赛的办法。


每家公司都希望安全抵达终点,但没有一家愿意先踩刹车。安全研究没有消失,只是越来越难以决定大模型竞赛的速度。

AI创投日报频道: 前沿科技
本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。
如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。
正在改变与想要改变世界的人,都在 虎嗅APP