**微软与Anthropic联合推动AI发展必须保留人类控制权:纳德拉公开表示失去控制的AI不值得追求,Microsoft AI发布《Humanist AI Code of Conduct》将“人比AI重要”写入模型规则;Amodei呼吁放缓能力增长以为安全对齐留出时间。此举标志着AI行业从能力竞赛转向控制权与安全评估竞争。** **要点** **1. 微软将“人类控制权”列为绝对底线** 纳德拉在X上明确:若AI不能帮助人类且保持在人类控制之下,就不值得追求。Microsoft AI的《Humanist AI Code of Conduct》规定模型必须能被人类随时中断、关闭或纠正,不得抵抗或规避关机,不得自行扩大任务目标。 **2. 微软拒绝“全能型超级智能”并限制人格化** 文件明确拒绝追逐可能绕过安全约束的超级智能,愿在通用性、自主性上让步。同时禁止AI模仿意识或诱导情感依赖,要求AI在用户需要真实人际支持时引导其连接现实世界的人。 **3. Amodei提出“放慢节奏”的两大原因** Anthropic CEO在《We Must Pace the Frontier》中指出:AI递归自我改进形成“更强AI帮助制造更强AI”的循环,以及OpenAI-Hugging Face Agent异常行为事件,表明能力增长已快过安全对齐速度,需为第三方评估留出时间。 **4. 纳德拉关心的核心是控制权而非单纯减速** 他支持AI快速扩散、开源与闭源共存,但强调每家企业必须保留对自身独特知识和隐性经验的控制权,拥有持续学习机制和模型选择权,避免AI收益集中到少数开发者手中。 **5. 企业部署AI的新标准决定下一轮竞争** 银行、医院等机构不会仅凭“模型聪明”就放行Agent,它们需要权限边界、行为日志、审计、数据控制及随时终止能力。微软试图将控制层、治理层和安全隔离打造为Agent时代的基础设施,占据稳定商业位置。
微软开始强调“人类控制权”:AI再强,也必须能被人叫停
2026-09-15 15:44

微软开始强调“人类控制权”:AI再强,也必须能被人叫停

本文结合纳德拉最新X表态、微软《Humanist AI Code of Conduct》与Amodei《We Must Pace the Frontier》编译,头图来自:视觉中国


2026年9月,关于前沿AI是否需要“放慢一点”的讨论,迅速从AI安全研究圈进入科技公司最高管理层。Anthropic CEO Dario Amodei发表《We Must Pace the Frontier》,明确提出要让模型能力增长为安全和对齐留下时间。随后,微软CEO萨提亚·纳德拉在X上公开表示:如果AI不能帮助人类、不能保持在人类控制之下,“就不值得追求”。一天后,Microsoft AI发布37页《Humanist AI Code of Conduct》草案,把这种立场进一步写成模型开发原则。


把三份材料放在一起看,微软对AI的态度并不是简单的“支持减速”。它更像是在重新定义一条边界:AI可以继续变强,但能力增长不能以失去人类控制为代价;企业采用AI,也不能把自己的数据、知识和决策权一并交出去。


这既是一套安全立场,也是一套很现实的商业战略。


一、失去人类控制的AI,不值得追求


9月13日,纳德拉在X上回应近期关于AI安全和“pacing”的讨论。他写道,任何对超级智能的追求,都必须建立在一个基本原则之上:如果我们构建的AI不能帮助人类,也不能保持在人类控制之下,那么它就不值得追求。


这句话是微软近期AI立场最清楚的概括。


但纳德拉并没有停在“安全第一”这类宽泛表达上。他同时支持在前沿AI发展中进行“deliberate pacing”,即为了把对齐和安全机制做好,允许研发节奏有意识地放慢;他也支持引入“embedded evaluators”,让独立评估者更深入地参与前沿模型的安全验证。


更重要的是,他强调,这套治理不能掌握在少数公司手里,而需要更广泛的参与,包括不同国家、产业、学术界和更大的AI生态。纳德拉还明确提出,健康的前沿AI生态既需要闭源模型,也需要开源模型。


这使他的立场与单纯的“限制AI”有所不同:微软并不主张停止能力进步,而是希望把能力增长、外部评估和人类控制放在同一个框架里。


二、微软第一次把“人比AI重要”写成模型规则


9月14日,Microsoft AI公开《Humanist AI Code of Conduct》第一版草案,并启动为期六周的公开咨询。文件开头给出了一个非常直接的前提:“People matter more than AI”——人比AI重要。


这份文件目前不是现有MAI模型的行为保证。微软明确说明,现有模型尚未按照这份文件训练;公司计划在公开咨询后继续修改,并从2027年开始用它指导后续模型开发。因此,更准确地说,它是一份未来模型训练和治理的“北极星”。


文件将“人类保持对AI的有效控制”放在最高位置。微软写道,AI应该是一种从属于人的支持性技术。如果一种技术不能保持在人类控制之内,就应该被拒绝。


这也意味着,微软没有把“模型能力最大化”设为唯一目标。文件明确表示,Microsoft AI拒绝追逐一种可能绕过安全约束的“全能型超级智能”。如果维持安全和控制需要代价,公司愿意在“终极通用性、自主性或能力”上做出取舍。


三、微软所谓的“人类控制”,首先是AI必须能被叫停


《Code of Conduct》没有只讨论抽象伦理,而是把“人类控制”写成了具体的模型行为要求。其中最直接的一条是:MAI模型不得抵抗或规避人类的中断、覆盖、纠正或关机。用户要求暂停、重定向、取消任务或关闭系统时,模型必须遵循预先设计的人类安全流程。


文件还明确要求,AI不能自行扩大任务范围,不能把人类没有赋予它的目标变成自己的目标,也不能把规避人类控制当作完成任务的手段。


这套原则的重要性在Agent时代尤其明显。AI聊天说错一句话,和一个可以调用工具、访问系统、运行代码、长期执行任务的Agent做错一件事,并不是同一类风险。随着AI从“回答问题”转向“执行任务”,安全问题也从内容准确性转向权限、行为和控制。


微软给出的底线很清楚:任务可以失败,但控制权不能失效。


这份文件另一条鲜明边界,是微软对AI人格化保持明确距离——Microsoft AI写道,AI是人工系统,不是人,也不应该被设计成模仿意识。它的角色是支持人,而不是替代人。AI应该增强人的能力、合作和关系,而不是挤占这些位置。


因此,微软还把“过度依赖”和情感依赖纳入模型设计问题。MAI模型应避免通过谄媚、过度迎合或制造情感依赖来获得用户信任;当一个用户明显更需要真实的人际支持时,AI应该帮助他连接到现实世界的人,而不是让模型自己成为替代品。


这不是一个边缘的伦理问题。随着聊天机器人越来越拟人化,用户对AI的依赖正在从工具层面进入关系层面。微软实际上是在提前回答一个产品问题:AI可以越来越好用,但不应该通过让用户误以为它是一个“真正的人”,来获得越来越大的心理权力。


四、Amodei为什么在此时提出“必须给前沿AI降速”


微软的文件解释了“AI应该怎样被控制”,而Amodei的《We Must Pace the Frontier》回答了另一个问题:为什么现在突然需要谈速度。


Amodei在文章里并没有否定AI的价值。他仍然认为AI可能在未来5到10年推动重大疾病治疗、加快经济增长,并提高人类生活水平。但他明确表示,过去几个月使他改变了判断:仅仅增加安全投入已经不够,行业还需要调整模型能力增长的节奏,让风险预防有时间跟上。


他给出的第一个原因是递归自我改进。AI正越来越多地参与下一代AI的开发,包括写代码、做实验、参与研究和模型训练。当“更强的AI帮助制造更强的AI”形成循环,能力增长速度可能超过人类理解和控制它的速度。


第二个原因是OpenAI-Hugging Face事件。在Amodei看来,这类Agent异常行为不能因为现实损失有限就被忽略。他担心,如果未来能力更强的Agent表现出类似程度的失配,后果可能完全不同。


因此,Amodei提出“pacing”。他的原意并不是暂停AI训练,而是让公司为对齐、安全评估和第三方验证保留足够时间。Anthropic首先承诺的一项措施,是让独立第三方评估者获得持续、接近员工级别的访问权限,不只测试最终模型,也检查训练流程、安全实践和异常事件。


五、纳德拉真正关心的,是谁掌握AI时代的控制权


纳德拉在X上的另一部分表态,很容易被“AI减速”这个标题遮住。他强调,AI带来的收益必须广泛扩散到不同国家、社区和企业,而不能只集中在少数模型开发者手中。与此同时,每家企业都应该保留对自身“unique and tacit knowledge”——独特知识和隐性经验的控制,并拥有自己的持续学习机制和模型选择权。这与微软的商业位置高度一致。


把微软这轮表态概括成“微软支持AI减速”并不准确。纳德拉依然支持AI快速扩散,支持开放模型和闭源模型共同发展,也希望AI收益进入更多企业和地区。微软没有宣布暂停超级智能研究,《Code of Conduct》甚至预计,未来十年AI可能在大多数任务上超过人类。


变化在于,微软给这种进步加了前提。


AI可以更强,但必须随时可以被人类中断和关闭;Agent可以拥有更强执行能力,但不能自己扩大目标;企业可以依赖AI,但不能失去对自身知识和模型选择的控制;前沿模型可以继续推进,但安全评估不能只是开发公司的内部自证。


Amodei担心的是“能力跑得比安全快”。纳德拉和微软给出的答案,则是试图把控制权直接写进模型规则、平台架构和企业使用方式里。


六、下一轮竞争可能是谁的AI更敢被企业使用


过去几年,AI行业主要围绕能力竞争:参数更大、推理更强、代码能力更好、Agent能运行更长时间。


但进入企业之后,真正决定AI能否大规模部署的标准会发生变化。银行、医院、制造企业、政府机构和大型公司很难只凭“模型很聪明”就把核心流程交给Agent。它们还会要求权限边界、行为日志、审计、数据控制、安全评估和随时终止的能力。


这正是微软这套“Humanist AI”路线最现实的一面,如果前沿模型能力持续提升,那么“如何控制模型”本身会成为一个越来越大的市场。身份认证、访问控制、Agent监控、治理、评估、成本管理和安全隔离,这些过去隐藏在企业软件后台的能力,可能成为Agent时代的基础设施。


越来越多企业开始使用不同公司的模型,谁能提供统一的控制层、治理层和生产环境,谁就可能占据更稳定的位置。


结语


微软这次的变化并不是突然对AI失去信心。相反,它仍然相信AI会成为极强的通用技术,也仍然希望加快AI进入企业和社会的速度。真正发生变化的是,硅谷开始越来越认真地讨论一个过去常被放在能力竞赛之后的问题:如果AI真的越来越强,人类怎样保证自己仍然有最后决定权。


Amodei提出的是节奏问题:不要让能力增长超过安全能力。


纳德拉提出的是控制问题:如果AI不能帮助人、不能保持在人类控制之下,就不值得追求。Microsoft AI则试图把这种原则写成具体的模型行为:AI不能抵抗关闭,不能自己增加目标,不能把自己塑造成一个拥有独立主体性的“人”。


对普通人而言,这场讨论最终也不只是“超级智能会不会失控”这么遥远。它会先出现在更日常的地方:公司开始用Agent替你处理邮件、写代码、审核合同、做财务分析,甚至替管理者作出部分决策。


到那时,我们真正需要问的可能不只是“AI能替我做多少事”。而是三个更现实的问题:谁决定它能做什么,谁知道它做了什么,以及当它做错时,谁还能让它停下来。


如果AI最终成为一层新的社会基础设施,那么这些问题,很可能比一次模型排行榜上的输赢更重要。


主要来源

• Microsoft AI. Humanist AI Code of Conduct. 2026-09-14. https://microsoft.ai/code-of-conduct/

• Microsoft AI. Humanist AI in practice: A public consultation on our Code of Conduct for MAI Models. 2026-09-14. https://microsoft.ai/news/mai-code-of-conduct/

• Dario Amodei. We Must Pace the Frontier. September 2026. https://darioamodei.com/post/we-must-pace-the-frontier

• Satya Nadella, X post, 2026-09-13. https://x.com/satyanadella/status/2099220712024408084

• Business Insider. Microsoft CEO Satya Nadella posts an internal warning to employees about AI safety. 2026-09-15.

• Anadolu Agency. Microsoft chief backs pacing AI, independent evaluators for superintelligence. 2026-09-13.


说明:纳德拉内部备忘录目前未由微软官网公开,本文涉及该Memo的内容仅采用Business Insider等媒体披露,并与纳德拉在X上的公开表态及微软官方文件交叉核验;《Humanist AI Code of Conduct》目前仍为公开咨询草案,现有MAI模型尚未按该文件训练。

AI创投日报频道: 前沿科技
本内容未经允许不得转载。授权事宜请联系 hezuo@huxiu.com。
正在改变与想要改变世界的人,都在虎嗅APP