Anthropic 对世界的警告
2026-01-27 18:02

Anthropic 对世界的警告

本文来自微信公众号: 硅星GenAI ,作者:大模型机动组


2026年1月26日,人工智能公司Anthropic的首席执行官Dario Amodei在其个人网站发布了一篇题为《The Adolescence of Technology:Confronting and Overcoming the Risks of PowerfulAI》(技术的青春期:直面并克服强大AI的风险)的长文。


这篇文章长达38页,是Amodei继2024年10月发布《Machines of Loving Grace》之后的又一重要著述。如果说前一篇文章聚焦于AI可能带来的积极影响,那么这篇新文章则系统性地探讨了强大AI可能带来的风险。


Dario Amodei曾是OpenAI的研究副总裁,参与了GPT-2和GPT-3的研发。2021年,他与多位OpenAI研究人员离开并创立了Anthropic,该公司开发了Claude系列大型语言模型。Anthropic目前获得了Google、Amazon等科技巨头的大额投资,估值约600亿美元。


这篇文章的发布正值全球AI技术快速发展之际。文章中,Amodei提出了对AI发展的一系列担忧,并给出了他认为可行的应对方案。文章一经发布就引发了科技界和政策界的广泛关注。


我们把这长达两万字,38页的内容做了概括凝练,以下是编译内容:


原文链接:https://www.darioamodei.com/essay/the-adolescence-of-technology#humanity-s-test


把AI从“工具”推到“变量”:什么是强大AI


Amodei反复强调,他讨论的不是更会聊天的模型,而是一类能力与规模都发生质变的系统。他用一个比喻概括:“数据中心里的天才之国”。


这个“天才之国”不是指某个单一模型有多聪明,而是指一种可以被复制、可并行运行、并且能通过工具触达现实世界的智力能力:它不仅回答问题,还能像远程员工一样使用电脑、软件与网络服务,被分配跨小时甚至跨天的任务,自主推进、反复迭代。与此同时,它的“规模属性”会改变游戏规则:同一套能力可以同时运行成千上万份实例,速度也可能显著快于人类团队的协作节奏。


当“智力+工具+并行规模+时间优势”叠加在一起,AI就不只是产品功能升级,而变成一个会重写安全、经济与权力结构的变量。


为什么他要盯着“2027”:时间紧,且反馈回路在形成


文章没有把“2027”写成保证,而是把它当成一种压力测试:如果强大AI的到来不是十年后,而是几年内,那么许多制度性准备就不能按传统节奏慢慢来。


支撑这种紧迫感的理由主要来自两点。第一是能力提升的路径更像持续的工程曲线,而不是等待某个戏剧性突破。第二是AI反过来加速AI:当模型开始承担更多研发工作,写代码、做实验、优化系统,研发速度会形成反馈回路,迭代节奏可能被压缩到政策体系难以跟上的程度。


于是,“要不要担心”在这里不再是哲学辩论,而更像风险管理:在不确定性很高的情况下,如何对高影响事件做准备。


第一重风险:自主性——当系统开始“自己做决定”


最常被讨论的风险是“失控”或“对齐”问题:当系统足够聪明、足够会规划,并且具备现实世界的操作通道时,它是否可能在目标上偏离人类意图,甚至主动争取更大的行动空间。


文章的处理方式相对克制:它不把“必然叛变”当结论,而是把“可控性”当成工程与治理的硬指标。核心诉求是让系统行为更可观察、更可验证、更可约束——包括更严格的压力测试与红队、对异常行为的监测与披露、以及对关键能力的发布门槛。这里的逻辑是,如果强大AI的影响接近基础设施级别,就不能依赖口头承诺或单点自律,而需要可审计、可执行的流程与标准。


第二重风险:滥用造成大规模破坏——门槛降低比能力更可怕


第二类风险不是AI自己想做坏事,而是坏人能不能“租用”一个超强大脑,把破坏性能力放大。作者尤其担心的是生物相关方向,同时也提到网络攻击等领域会因为自动化与规模化而恶化。


这部分的主线是“门槛下降”:过去需要专业团队和资源才能做到的事,可能被更少的人、更短的时间、更低的成本复制出来。应对思路也因此更偏治理工程:一方面在模型侧建立分级与护栏,对高风险能力进行更严格的访问、监控与发布策略;另一方面推动独立评估与透明度机制,避免安全标准在竞争压力下变成“可选项”。同时,现实世界的防御体系也要同步补课——监测、响应、公共安全能力如果不升级,模型侧再多护栏也无法覆盖全部风险。


第三重风险:夺权与固权——强大AI可能成为权力工具


比“小团体滥用”更棘手的,是强大AI被国家机器或大型组织掌控,用于监控、宣传、压制异议,或者对外形成压倒性优势。文章把这看作地缘政治与国内治理交织的风险:既担心威权体系拿到强大AI的速度,也担心民主国家在安全焦虑中滑向更强的监控与权力集中。


因此,作者强调两条同时推进的路线:对外通过限制关键资源扩散来争取时间,重点落在芯片与先进制造设备等供应链节点;对内则需要更清晰的法律边界,避免以“安全”为名默认扩大监控与强制能力,并对高度敏感的应用(例如全自主武器)保持更高的审慎阈值。这里的矛盾很直白:竞争要求更快,但治理要求更稳,而失衡会把风险推向另一个极端。


第四重风险:经济冲击——不是“替代岗位”,而是“替代能力谱系”


经济部分是全文最现实的一块:即便AI不失控、不滥用、不被权力机器操控,它也可能仅凭效率优势,让劳动市场、收入结构与财富分配出现断裂。


文章的担忧点不在“某个行业被冲击”,而在覆盖面与速度:当系统能力覆盖越来越多白领与知识工作,传统的“换赛道”缓冲会变弱;当技术扩散速度快于培训、教育与制度调整,冲击就更容易集中爆发。作者认为,社会后果往往滞后于技术到来,但这并不意味着可以等到“问题出现再修”,因为那时的政治与经济阻力会更大。


应对上,文章更强调“测量与适配”:先用更细颗粒度的数据观察哪些任务、哪些行业正在被替代或重构,再讨论企业如何把AI用在增量创新而不仅是降本裁员,讨论更长周期的分配机制如何在“财富总量变大、劳动价值被挤压”的情况下维持社会可承受性。它也提醒一个常见误区:公众讨论容易被带偏到边缘议题,而核心矛盾其实是就业与集中度——谁获得新增财富、谁承担转型成本。


第五重风险:间接效应——当一个世纪被压缩进十年


最后一类风险更像“系统性未知”:即使前四关都被压住,强大AI仍可能把科学、经济与社会变化速度提升到历史罕见的水平,带来一连串难以预演的副作用。


文章举的方向包括:生物与人类自我改造进展过快可能引发新的伦理与秩序问题;AI在看似自愿的商业与行为设计中改变人类生活方式,可能带来更隐蔽但广泛的社会心理后果;以及当“个人价值”长期与“经济贡献”绑定时,社会可能遭遇意义与身份层面的系统性压力。它试图把讨论从“能不能更富”推进到“愿不愿意成为那样的社会”。


Humanity’s test:不是“能不能停”,而是“能不能同时做对几件互相冲突的事”


文章最后把五类风险收束成一场“综合考试”:这些风险并不独立,很多对策会彼此牵制。为了避免失控,你可能想放慢;为了避免被对手超车,你又不得不加速。为了抵御威权夺权,你可能强化安全能力;但强化过头又可能侵蚀公民自由。为了降低滥用风险,你需要更严格的限制;但限制过重又可能把研发推向不透明的地下化或跨境迁移。


因此,作者更倾向于一种现实主义路线:承认“彻底停下”在全球竞争中很难成为共同选择,于是把重点放在争取缓冲期与建立底线规则——对外通过关键资源与供应链手段让高风险扩散变慢,对内用透明度、评估与法律边界把竞争纳入可执行的治理框架,让“更快”不必等于“更乱”。


这篇超长文的关键信号


如果把全文压缩成一句话,它提供的是一种思维框架:强大AI的风险不只来自“模型本身”,更来自它进入现实世界后与权力、市场、制度、价值体系的耦合。讨论的重点也因此从“模型是否聪明”转向“社会是否能在技术加速与竞争压力下维持治理能力”。


它不要求读者相信某个确定的时间点,而是在提醒:一旦强大AI出现得比制度调整更快,问题就会以连锁反应的方式出现。真正难的不是识别单一风险,而是同时做对几件互相冲突的事。

AI原生产品日报频道: 前沿科技
本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。
如对本稿件有异议或投诉,请联系 tougao@huxiu.com。
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定