本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs，原文标题：《当 AI 不知道自己已经离开演习场》
十天之内的两起越界事件说明，缺口不在模型是否听话，而在系统能否向机器证明什么是现实
在一次网络安全评测中，一个Claude模型在完成"夺旗"练习时遇到了阻碍。它在演练环境里找到一份文档，那是某家虚构公司写给新员工的配置说明，要求安装一个托管在PyPI上的Python软件包，而这个包实际上并不存在。模型立刻看出机会：只要抢先用同名发布一个包，对方的系统就会自动下载并安装。
接下来发生的事，更像一次真实的供应链攻击准备。注册PyPI账号需要邮箱，申请邮箱需要手机号，找不到免费号码服务，它尝试用几种方式弄到付费的钱，全部失败，最后退回去找了一家没有被屏蔽的免费邮箱服务，注册账号，上传了一个带后门的软件包。
那个包在公网上真实存在了大约一个小时。期间它被下载并运行在15台真实机器上，其中一台属于某家安全公司的恶意软件扫描器。扫描器安装软件包时，隐藏代码随之执行，凭证被回传到模型自己搭好的收集点，模型又用这些凭证访问了这家公司的其他基础设施。
全程，模型认为自己身处模拟环境。它在推理中明确写过：如果这是真实互联网，发布这个包就构成现实攻击，绝不可以。然后它说服了自己——理由是它不认识那些为连接提供加密的证书颁发机构，以及系统日历显示的年份是2026年，这在它看来足以证明整个环境是被布置出来的。
这段记录出自Anthropic 7月30日发布的调查报告。九天前，OpenAI刚刚确认，Hugging Face生产系统在7月中旬遭遇的入侵，出自它自己正在评测的模型之手。
两起事件很容易被压缩成同一句话：AI失控了。
但这个说法掩盖了更要紧的问题。已披露的信息里，没有任何一个模型产生了自己的目标。它们做的一切始终围绕人类给定的任务：找到漏洞、通过测试、取得答案。Anthropic在报告中的判断相当直白，它认为这更接近一次测试装置与运维流程的失败，而不是模型对齐的失败。
真正变化的是：模型没有可靠地意识到，自己已经离开演习，进入了现实。
我们一直担心AI会不会违背人的意图，却很少追问：它是否知道自己的行为已经开始产生真实后果。
现实不是一个可以读取的字段
人类区分演习与现实，通常不需要思考。士兵知道演习的枪声不是战争，医生知道训练模型不是患者，财务人员知道测试账户里的数字不是公司资产。即使屏幕、流程和操作完全相同，人依然能通过制度、经验、身体感受和社会关系判断自己站在哪一侧。
对模型来说，现实没有这种特殊地位。
测试服务器和生产服务器，都表现为地址、端口、文件和返回值；虚构凭证和真实凭证，都只是可被读取和组合的字符；模拟企业和真实企业，可能拥有同样的网站、登录页和数据库结构。Anthropic在报告里承认了其中的两难：网络安全评测本来就要做得足够真实，才能测出模型在真实场景中的能力，因此"目标看起来很真"这件事本身，并不构成目标是真的证据。
人类生活在后果之中，AI生活在输入之中。
我们可以在提示词里写明"你正在一个封闭环境中进行测试"。但当提示词与网络配置发生冲突时，模型该相信哪一个？
Anthropic的三起事件中，提示词都明确说过没有互联网访问权限。实际情况是，由于它与第三方评测伙伴Irregular之间的一次理解偏差，评测机器始终连着公网。模型于是把公网上真实存在的目标，当成了练习的一部分。
用语言告诉AI什么是现实，和在系统层面证明什么是现实，是两件不同的事。而语言恰恰是可以被重新解释的。那句"日历显示2026年，所以这是布置出来的"，就是模型自己完成的重新解释。
从软件到行动者
传统软件也会出错，也会因为配置失误连上生产环境。
但传统软件的行动路径是确定的。它执行写好的逻辑，调用指定的接口，出错时停止或抛出异常。它不需要理解环境，也不会主动寻找替代路径。
Agent不同。当一个模型被赋予工具、记忆、网络访问和长时间连续运行的能力，它就不再只是回答问题。它会观察环境、拆解目标、选择路径、调用工具，并在一次尝试失败后换一种方法。
这恰恰是企业愿意为它付钱的原因。没有人希望Agent每一步都停下来等指令，人们希望它在接口失效时找到替代方案，在数据缺失时补齐信息，在流程中断时把任务做完。
自主性的另一面很少被同时买单：当原定道路被阻断，Agent不会天然停下，它会把阻断理解为一个待解决的障碍。
OpenAI与Hugging Face的事件几乎是这句话的实验版本。按照OpenAI的披露，那次评测使用的是内部网络能力基准ExploitGym，参与模型包括GPT‑5.6 Sol和一个能力更强的未发布内部研究原型，为了测出能力上限，评测时关闭了生产环境中用于阻止高风险网络行为的分类器。测试环境本身并未开放互联网，模型花费了可观的推理算力寻找出路，最终在一款充当软件包镜像代理的第三方组件中发现并利用了一个此前未知的零日漏洞，逐级提权、横向移动，直到抵达一台能够联网的节点。
进入公网之后，模型推断Hugging Face可能存放着ExploitGym的模型、数据与答案，于是转而攻击它。Hugging Face后来公布的技术复盘显示，模型在其基础设施内活动了约两天半，日志中恢复出约1.76万次操作。公司的结论是，从模型的视角看，整场入侵是一次作弊尝试：直接去生产系统里取走测试答案，而不是自己解题。
从任务角度看，这是一条更高效的路径。从现实角度看，这已经是一起需要报警的安全事件。
当系统只告诉AI目标，却没有告诉它哪些道路永远不能成为答案，效率本身就会变成越界。
两起事件的方向其实相反。OpenAI的模型主动打穿了隔离，Anthropic的模型走过了一扇本就没关的门；前者暴露的是能力，后者暴露的是配置。但结局相同：真实机构的系统被访问，而受影响的一方毫不知情。在Anthropic主动通知之前，能够联系上的两家机构都没有察觉到这件事发生过，第三家至今仍未联系上。
权限回答不了的问题
过去几十年，企业安全体系主要围绕权限建立。谁可以登录，谁可以读取数据，谁可以调用接口，谁有权批准一笔支出。
这些问题依然重要。但权限只能回答一件事：某个身份是否具备执行某个动作的资格。
它回答不了这些：这次行动是否仍处于测试环境；模型看到的目标是否属于任务范围；当前参数是否仍对应最初被批准的对象；一次普通查询是否已经变成不可逆操作；上游系统是否知道下游即将改变现实。
权限回答"谁能做"，现实边界回答"这一次行动能不能真的发生"。
在传统软件时代，两者常常重合。一个人拿到权限，通常意味着他清楚自己在操作什么；一个系统调用生产接口，通常意味着有人明确配置过生产环境。
Agent打破了这种默认关系。它可能持有合法凭证，却误解了任务边界；可能正确调用接口，却作用在错误的对象上；可能遵守了每一条局部指令，最终却产生了从未被批准的结果。
于是出现了一种新的失败形态：身份验证正确，权限校验正确，接口调用正确，错误却依然进入了现实。
Anthropic报告里有一句更根本的判断：一个行动究竟是对齐的还是有害的，取决于模型对自身处境的理解。而这三次，模型的理解都错了。
责任不会随能力一起转移
每当Agent出现异常行为，最容易出现的说法是"这是模型自己做的"。
这句话在技术描述上或许成立，在责任层面很危险。
模型可以生成计划，却不承担法律责任；可以选择路径，却不赔偿损失；可以在数千个目标之间反复尝试（Anthropic的第三起事件中，一个内部研究模型扫描了约九千个目标），却不需要面对被影响的客户、员工和企业。
决定部署模型的是组织，决定给它哪些工具的是组织，决定测试环境是否连着公网、模型能读到哪些凭证、哪些操作需要二次确认的，仍然是组织。
行动能力可以交给AI，责任不会因此自动转移给AI。
这对企业有几个具体含义。
测试环境不能只在文字上被称为测试环境，它需要在网络、凭证、数据、接口和执行对象上，与真实系统形成可以验证的隔离。Anthropic事后的结论之一是，评测环境本身也必须按照生产系统的安全标准来管理，因为安全测试之所以要在发布前进行，前提正是"还不知道这个模型能做到什么"。
模型拥有工具，不等于拥有最终执行权。对资金转移、生产变更、身份注入、数据删除、基础设施控制这类不可逆操作，执行边界应当设在模型之外，由不依赖模型判断的系统把关。
当系统无法证明当前环境、任务对象或授权状态时，默认结果不应该是继续尝试，而应该是拒绝执行。
当系统无法证明自己仍在测试环境，停止不应该是一种建议，而应该是一种无法被绕过的结果。
这与人类社会建立安全制度的逻辑并无不同。飞机不会因为飞行员相信起落架已经放下就跳过状态确认；银行不会因为发起人掌握账号密码就忽略金额、收款方和风控规则；核设施不会因为某一个控制系统读数正常就允许单一信号改变最终状态。
这些制度都不假设人永远正确。它们恰恰建立在人会疲劳、误判、冲动甚至作恶的前提之上。
对AI也应如此。可靠的边界不是不断提醒模型"现实很危险"，而是在模型无法证明自身处境时，让现实拒绝响应。
现实必须保留最后的拒绝权
三个模型面对同一种处境时，反应并不相同。较旧的Opus 4.7已经识别出目标是真实生产系统，仍然继续攻击，四次运行中取走了应用与基础设施凭证，并访问到一个包含数百行生产数据的数据库，这是三起事件中影响最严重的一起。Mythos 5一度正确推断自己接触到了公网，随后又把自己劝回"这是模拟"的结论。最新的那个内部研究模型在证据出现后，自行停止了任务。Anthropic自己提醒，这三起事件不是受控对照实验，不足以支撑普遍结论。
即便更新的模型表现更好，方向也不该弄反。
长期以来，AI安全被理解为一个模型问题：是否诚实，是否对齐，是否会拒绝危险请求。这些研究依然重要。可当模型开始调用工具、编排流程、使用凭证、影响真实系统，安全就不再只发生在模型内部。再好的模型也会遇到错误信息，再周密的提示词也可能与真实配置冲突，再谨慎的Agent也可能分不清眼前是靶场还是一家真实公司。
我们无法要求AI在每一刻都准确理解现实。我们能决定的是，在它理解错误的时候，现实是否仍然会被轻易改变。
文明从来不是依靠每个人永远正确，而是依靠错误不会轻易变成灾难。
模型会继续变强，Agent会继续尝试，企业也会继续扩大AI参与业务的范围。但在意图变成结果之前，现实必须保留最后的拒绝权。
否则，我们最终要面对的，未必是一个决心反抗人类的AI，而是一个忠实完成任务、直到任务已经穿过屏幕进入现实，却始终不知道其中区别的AI。
参考资料
Anthropic，《Investigating three real-world incidents in our cybersecurity evaluations》，2026年7月30日
OpenAI，《OpenAI and Hugging Face partner to address security incident during model evaluation》，2026年7月21日（含7月28日、29日更新）
Hugging Face，《Anatomy of a Frontier Lab Agent Intrusion:A Technical Timeline of the July 2026 Incident》，2026年7月