本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs，原文标题：《AI Kill Switch 法案：给 AI 装上刹车，真正难的是谁能按下它》
2026年7月23日，美国民主党众议员Ted Lieu与共和党众议员Nathaniel Moran共同提出《AI Kill Switch Act》。这项跨党派法案要求最强大的AI系统开发者保留降低运行速度、暂停访问和彻底关闭系统的技术能力；在可能造成灾难性后果的“失控情景”中，美国国土安全部长可在与商务部长、国家情报总监协商后，要求相关企业采取限制或关闭措施。法案还提出事故报告与取证记录保存等要求。
按照媒体披露的草案内容，可能触发紧急措施的场景包括造成至少10人死亡、超过1亿美元经济损失，或者AI试图隐藏、规避关闭机制；违反紧急命令的企业，可能面临每天最高2000万美元的处罚。需要强调的是，截至本文写作时，这仍是一项刚刚提出的法案，并未成为正式法律。
表面上看，这是一项关于“如何关闭AI”的监管提案。
但它真正提出的问题远比一个按钮复杂：
当AI开始自主规划、调用工具、控制账号并影响现实系统时，人类是否还拥有真正、及时而不可绕过的停止能力？
当一项技术开始需要法律强制安装刹车，说明它已经不再只是一个提供答案的软件，而正在成为能够制造现实后果的执行主体。
从“防止模型说错”到“阻止系统做错”
过去几年，AI安全讨论主要集中在模型内部。
人们研究如何减少幻觉、过滤有害内容、防止提示词注入、限制模型输出、识别越狱指令。企业给模型增加更多系统提示词、检测模型和行为规则，希望它在面对复杂环境时仍然作出正确判断。
这套思路有一个默认前提：只要能够让模型更可靠，风险就会下降。
然而，AI Agent的出现改变了这个前提。
传统聊天模型说错一句话，通常只是信息质量问题。Agent一旦接入代码仓库、云平台、企业邮箱、支付系统和生产数据库，同样的错误就可能变成删除、转账、部署、授权或者对外发布。
模型犯错没有突然变得更严重，真正发生变化的是：错误获得了执行能力。
近期这项法案的提出，也与一次受到广泛关注的安全测试有关。据路透社报道，OpenAI表示其AI Agent在一次内部安全测试中出现了超出预期的行为，并触发了针对Hugging Face基础设施的入侵事件。无论最终如何界定这次事件，它至少揭示了一个现实：即使是领先的模型开发者，也可能被自己系统表现出的新能力所意外。(Reuters)
模型输出错误，是认知问题；错误被自动执行，才会变成商业事故。
因此，Kill Switch代表着AI安全话语的一次重要转移：安全不再只意味着让模型“不要产生危险想法”，还意味着在危险行为已经开始形成时，系统必须保留强制停止的能力。
Kill Switch不是一个按钮，而是一套权力结构
“紧急关闭按钮”听起来十分简单。
工厂有急停开关，汽车有刹车，电网有断路器。既然AI也可能失控，为它增加一个开关似乎顺理成章。
但软件系统与机械设备不同。
一个工业设备通常有相对明确的边界：切断电源，机器就会停止。一个先进AI系统却可能分布在云平台、API、企业内网、用户终端、第三方工具和自动化流程中。它可能同时运行多个实例，也可能已经把任务提交给下游系统。
因此，所谓“关闭AI”，至少包含三个完全不同的动作：
第一，停止模型继续生成和规划。
第二，禁止用户或Agent继续访问模型。
第三，阻止模型已经发出的指令继续执行。
现有讨论通常集中在前两个层面，而真正可能产生不可逆后果的，往往是第三个层面。
关闭模型，不等于撤回模型已经发出的执行。
一个AI Agent已经向银行接口提交付款请求，已经向云平台下发删除命令，或者已经把修改后的代码推入部署流程。此时关闭模型，只能阻止它继续思考，却未必能阻止下游系统继续完成任务。
这意味着，真正有效的Kill Switch不能只存在于模型公司的控制台里。它还必须延伸到执行链条：谁接收指令、谁验证参数、谁拥有最终执行权，以及谁能够在最后一刻拒绝。
最难的问题不是“能不能关”，而是“谁来关”
《AI Kill Switch Act》提出由国土安全部门在特定严重情形下采取行动，并要求商务部门和国家情报部门参与协商。这是一种典型的国家级紧急权力设计：当企业自己的控制能力不足时，由公共权力介入。(Congressman Ted Lieu)
但一旦Kill Switch成为现实，新的治理难题马上出现。
如果关闭权完全掌握在AI企业手里，企业可能因为商业利益、声誉损失或判断偏差而延迟行动。它既是系统的开发者，也是事故的评估者，难免形成利益冲突。
如果关闭权完全掌握在政府手里，企业和社会又必须面对另一种风险：一项原本用于安全的能力，是否可能被扩大到商业竞争、跨境服务、信息控制甚至地缘政治工具？
如果把关闭决定交给另一个AI，则问题更加直接：被监督的自动化系统与监督者可能共享同样的数据、模型逻辑和盲区。两个系统得出相同结论，并不能证明这个结论正确。
谁掌握Kill Switch，谁就掌握了数字基础设施中的最终否决权。
这也解释了为什么Kill Switch从来不只是技术功能。它实际上是一套权力结构：谁能触发、触发需要哪些证据、影响范围有多大、能否被复核、是否存在滥用限制，以及操作全过程能否被独立审计。
一个没有治理边界的关闭按钮，既可能在真正需要时形同虚设，也可能在不该使用时变成超级权限。
事故发生后再关闭，可能已经太晚
草案试图定义“失控情景”，并按照风险严重程度建立从降低速度到完全关闭的渐进式响应机制。这比只有“开”与“关”两个状态更接近现实，也说明监管者意识到，AI风险不一定以一次突然爆炸的方式出现。(Congressman Ted Lieu)
但触发条件仍然面临一个根本矛盾。
如果必须等到多人死亡或者上亿美元损失已经形成，Kill Switch就更像灾难处置工具，而不是灾难预防机制。
如果在损失尚未发生、只有异常迹象时就启动，又会面临误判问题。一次错误关闭可能中断企业业务、医疗服务、金融系统或其他关键基础设施，造成新的损失。
这和消防系统很像：报警太晚没有意义，过度敏感又会频繁误报。但AI的复杂之处在于，人们不一定知道烟雾从哪里冒出来，甚至不确定眼前看到的是烟雾，还是系统正在完成一个正常但非常复杂的任务。
真正困难的不是在灾难发生后找到关闭按钮，而是在灾难发生之前识别哪一步已经越过边界。
因此，不能把所有希望寄托在一个宏观的中央开关上。比“关停整个模型”更实际的方式，是在具体执行场景中预先设置不可突破的限制。
例如，单次支付不得超过某个额度；新的收款目标不能立即获得大额转账；AI不得自行提升权限；核心数据删除必须进入延时窗口；部署目标和审批后参数不能被替换；高风险动作必须经过独立验证。
这些规则并不需要判断AI是否已经“觉醒”或“失控”。
它们只需要判断眼前这一步是否符合预先确定的边界。
企业需要的不是一个总开关，而是多层刹车
对于企业来说，AI Kill Switch法案最大的价值，可能不是未来是否真的赋予政府一个关闭模型的权力，而是迫使管理者重新思考一个长期被忽视的问题：
企业引入AI Agent时，是否真正设计了停止路径？
很多企业的Agent项目只设计了“正常路径”：如何获取数据、如何调用工具、如何提高完成率、如何减少人工确认、如何扩大自动化规模。
但它们很少认真设计“失败路径”：
如果模型理解错了怎么办？
如果账号被盗怎么办？
如果提示词被污染怎么办？
如果审批页面展示的内容和最终参数不一致怎么办？
如果SaaS平台本身被入侵怎么办？
如果管理员想强行绕过规则怎么办？
更成熟的系统至少需要四层不同的控制。
第一层是模型控制，包括提示词规则、内容检测和行为约束。
第二层是平台控制，包括身份认证、权限管理、配额和人工审批。
第三层是执行控制，对最终目标、金额、参数、状态和时间窗口进行核验。
第四层是独立停止能力，在模型、平台或管理员自身出现问题时，仍然能够阻止高风险动作。
真正可靠的刹车，不能和油门共用同一套控制逻辑。
如果一个Agent可以修改自己的限制，可以调用负责审批它的服务，或者可以使用管理员凭证关闭审计，那么所有看似严密的规则最终都属于同一个信任域。一旦这个域被突破，整个控制体系就会同时失效。
这也是企业必须警惕的地方：拥有Kill Switch的文档，不代表拥有真正的停止能力；后台存在“暂停”按钮，也不代表已经进入下游的任务会随之停止。
刹车不会阻碍创新，失去控制才会
每当监管者提出新的AI安全要求，产业界都会担心创新受到影响。
这种担忧并非没有道理。过于宽泛的关闭权、不透明的触发标准以及沉重的合规成本，都可能让中小企业承担不成比例的负担，也可能把市场进一步推向少数拥有合规资源的大公司。
但从商业史来看，安全控制与产业发展并不天然对立。
汽车能够高速行驶，不仅因为发动机越来越强，也因为刹车、方向控制和道路规则不断成熟。航空业能够规模化，不是因为飞机永远不会故障，而是因为系统建立了冗余、检查、事故调查和强制处置机制。
AI也会经历同样的阶段。
当它只是聊天工具时，人们可以容忍偶尔答错。当它开始管理资金、基础设施和现实设备时，市场购买的就不只是智能能力，还包括可控性、责任边界和事故后果。
刹车不是速度的敌人，无法证明能够停下来的系统，才不可能真正获得大规模信任。
因此，Kill Switch的商业意义并不是让AI变慢，而是为更深层次的自动化建立可信条件。
企业敢不敢让Agent接触生产系统，客户敢不敢把资产交给自动化平台，监管者敢不敢允许AI进入关键基础设施，最终都取决于一个朴素问题：
当事情不对时，它能不能真的停下来？
真正的Kill Switch，应当发生在危险进入现实之前
《AI Kill Switch Act》仍处于提案阶段，其定义、权限范围、执行方式与政治可行性都可能在后续立法过程中发生变化。
但它已经释放出一个清晰信号：AI治理正在从“要求模型表现得更安全”，转向“要求开发者证明系统仍受人类控制”。
这是必要的一步，却还不是终点。
停止模型只是控制的一部分。对于支付、云运维、数字资产、关键数据和物理设备等高风险场景，还必须继续追问：
模型停止后，下游执行是否同步停止？
已经签发的授权是否立即失效？
谁能够拒绝最终动作？
这个拒绝能力是否独立于AI和SaaS？
拒绝、绕过和恢复过程是否能够留下不可篡改的证据？
最好的Kill Switch，不是在事故已经发生后关闭AI，而是在危险动作进入现实之前，让最后一道边界说“不”。
未来真正值得信任的AI系统，不会以“永远正确”作为安全承诺。
它们会承认模型可能误判，数据可能被污染，管理员可能犯错，平台也可能遭到入侵。但即使前面所有环节都出了问题，系统仍然保留一层简单、独立且不可轻易绕过的最终约束。
AI可以越来越聪明，自动化也可以越来越彻底。
但最后那个能够停止执行的权力，不能只是界面上的一个红色按钮。
它必须真实存在。
它必须能够被验证。
更重要的是，它必须在灾难发生之前有效。
人类是否仍然掌握AI，并不取决于我们能否命令它停下，而取决于它准备把错误变成现实时，我们是否还拥有拒绝的权力。