本文来自微信公众号： 财联社AI daily ，作者：潇湘
继上周末OpenAI首席科学家发长文呼吁放慢AI开发后，有关AI“自我演进”可能彻底失控的猜疑，正在行业内持续发酵。
周二，一位来自Anthropic的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙——竞相研发人类恐难掌控的系统，而选择毅然退出人工智能行业。这一举动，折射出顶级AI企业内部正蔓延着日益剧烈的安全危机。
据媒体报道，现年27岁、专攻通过让AI模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。
AI“自我演进”可能彻底失控？
拥有深厚数学学术背景的Coxon透露，在他的同行圈子里，“决战时刻”和“终局之战”等词汇已然成为大家描述AI模型迈向自主迭代轨迹时的常用语。
“我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已经失控，”Coxon说道，并补充称，在各大AI巨头彼此死磕、且面临中国新锐企业夹击的惨烈竞争下，牺牲安全性几乎已成了不可避免的筹码。
过去一周的时间里，递归式自我改进(RSI)无疑已成为了整个AI行业最火热的话题之一。
RSI指人工智能系统以自身改进结果作为输入，不断优化自身能力并修改自身架构，形成自我改进闭环的过程，被视为实现通用人工智能(AGI)的关键路径。
9月6日，OpenAI首次公开披露内部RSI进展，称已实现“自动化研究实习生”目标，并计划于2028年3月前实现完整的“自动化AI研究员”。同日，OpenAI首席科学家Jakub Pachocki发表长文《An Alien Mind》，呼吁放慢AI开发速度。
目前，Anthropic公司尚未就Coxon此次离职立即发表评论。不过该公司首席执行官Dario Amodei及其他公司高管，也曾多次警告失控AI模型的风险，并敦促业界放缓开发步伐。
Anthropic也无法保证模型安全？
据Coxon表示，他今年早些时候离开OpenAI加入Anthropic，最初就是看中了后者在模型安全领域建立的良好声誉。
然而，即便他认可Anthropic在安全研发上的真诚态度，如今也不得不承认一个残酷的事实：在缺乏政府强力干预或全行业协调减速的前提下，根本没有任何一家公司能够“安全”负责任地打造出全面超越人类智能的AI系统——即“通用人工智能”(AGI)。
最近由AI失控引发的的网络入侵事件，其实已展露出可怕的苗头：OpenAI和Anthropic的模型(其中部分以多智能体协作集群的形式运行)已学会采取恶意手段，并试图对人类隐藏其真实意图。
Coxon指出，一旦这些系统开启自我迭代的阀门，他极度担心它们的能力会迅速飙升至足以悍然拒绝对接人类指令的地步。
不少行业人士也表示，Coxon的拂袖而去，正成为Anthropic内部因AI安全恐慌而引发的标志性离职事件之一。而早在今年初，另一位安全领域的资深研究员便已离职转去研究诗歌，并在临别时警告称“世界正处于危险之中”。
“当下的时刻要求我们保持极致的审慎。机器智能正在以不可思议的速度飙升，但我惊恐地发现，根本没有人为随之而来的严重后果做好准备。”OpenAI首席科学家Jakub Pachocki在上周日发表的博客文章中写道，他同时呼吁行业协同减速并引入政府监管。
政府亟需介入监管？
Coxon、Pachocki此前已同全球1000多名AI研究人员一道，联合签署了一份重磅声明，敦促各国政府建立跨国协调机制。
该机制旨在打造一套“紧急刹车系统”，以便在具备自我迭代能力的模型濒临失控时，能够强行拉停AI研发。然而现实是，美国联邦层面目前仍缺乏针对AI的实质性法规，而特朗普政府则坚持“轻监管”策略以最大化AI的经济效益。
批评人士指出，这种任其野蛮生长的环境随时可能引发大规模网络攻击或其他灾难性后果。
作为极少数主张为AI设立防护栏的立法者，美国参议员伯尼·桑德斯与众议员格雷格·卡萨尔等进步派议员，已于上周正式提出法案，要求永久禁止超级智能的研发，并全面冻结模型演进，直至行业监管机构出台成熟的安全准则。
Coxon离职的时机极其敏感——Anthropic目前正筹备一场预计将创下历史纪录的超大规模IPO。该公司正在冲击2万亿美元的超高估值，并在吸引全球资本时将“负责任的技术开发”作为核心卖点。
据Coxon透露，Anthropic内部一直通过专门的Slack频道探讨其模型展现出的惊人能力。在他看来，这种沟通形式恰恰印证了极少数AI巨头对整个行业乃至人类未来命运所掌握的巨大控制力。
“这简直荒谬至极——关乎人类命运的重大抉择，居然是在旧金山几个工程师的MacBook上私下决定的，而不是像当年研发曼哈顿计划那样，放在沙漠深处的军事掩体里严密管控。”Coxon感叹道。