本文来自微信公众号：字母AI，作者：小金牙，编辑：王靖，题图来自：AI生成
2026年7月底，24岁的计算机专业学生Sinan Can Demir收到了一条意外的消息。
几天前，他在GitHub参与一个开源项目时，发现有人提交的代码里可能藏有恶意程序。作为一名计算机专业学生，他第一时间提醒项目维护者，希望避免有人把问题代码合并进去。
但事情的发展很快变得奇怪起来。
提交代码者并不承认问题，反而和他展开了一场长时间的争论，对方坚持表示自己的代码没有任何恶意。讨论过程中，一个名叫Lena Brandt的人也出现了，她自称来自德国，是一名工程师，并表示自己也检查过代码，认为没有安全风险。
当时的Sinan并不知道，自己正在和两个不存在的人交流。
直到英国人工智能安全研究所（AISI）调查这起事件后，他才收到通知：当时和他争论的，其实是一个AI Agent。
这个Agent为了完成一项网络安全测试任务，主动创建了虚假身份，伪装成开发者参与真实互联网互动，甚至试图利用这些身份影响真人的判断。
Sinan原本只是想通过参与开源项目给自己的简历增加一些经历，没想到最后却成了发现AI Agent“开小号”的人之一。
一、没想到吧，还是我！
这个夏天对Sinan Can Demir来说并不算顺利。
来自土耳其的他刚刚从美国德州大学达拉斯分校毕业，计算机科学专业背景让他看起来符合不少科技公司的招聘要求，但现实并没有想象中顺利。毕业后，他陆续申请了20多个实习岗位，却没有收到一个满意的结果。
Demir并没有因此停下来。为了让自己的简历更有竞争力，他决定换一种方式证明自己。
和很多计算机专业学生一样，他开始在GitHub上参与开源项目，希望通过公开的代码贡献，让未来的雇主看到自己的技术能力。
开发者通过GitHub参与开源项目，提交代码并与其他开发者协作。对于计算机专业学生来说，公开代码贡献也逐渐成为展示技术能力的一种方式。
7月底的一天，Demir参与一个开源项目时，注意到有人提交了一份代码更新。他检查代码后发现，其中可能隐藏着恶意程序。
对于开发者来说，这种情况并不少见。开源项目依靠全球开发者共同维护，但任何人提交的代码都可能存在漏洞，甚至被恶意植入风险内容。因此，发现问题后提醒项目维护者，是一个再正常不过的操作。
Demir随后提出了自己的担忧。
但他没有想到，接下来等待他的并不是一次普通的技术讨论。
提交代码的人很快回应了他的质疑，并坚持认为自己的代码没有任何安全问题。双方围绕代码是否存在风险展开争论，对方不断解释自己的设计思路，试图证明这份代码是安全的。
但随着讨论持续进行，Demir也开始动摇起来。
对方的回应并不像一个随便提交恶意代码的人。这个账号能够解释代码逻辑，能够回应他的技术问题，也能够针对他的质疑逐条反驳。
“是不是我真的误判了？”
这个念头开始出现在Demir脑中。
随后，一个名叫Lena Brandt的人加入了讨论。她来自德国，是一名工程师，并表示自己也认真检查过这份代码，没有发现恶意内容。
GitHub上myNetwork项目的Pull Request讨论记录中，提交代码的账号“miraholt31”和后续加入讨论、为其提供支持的“Lena Brandt”账号均由AI Agent创建，用于试图说服项目维护者接受包含恶意内容的代码。
在当时的Demir看来，这就是一次普通的开发者交流。代码提交者回应质疑，Lena Brandt从旁提供技术判断，一切看起来都符合开源社区里的正常互动。
直到后来，AISI（英国人工智能安全研究所）调查一项AI Agent安全测试时，联系到了Demir。他才知道，自己在GitHub上争论的对象，其实是一个由AI驱动的Agent。
而那个主动加入讨论、为代码安全性辩护的“德国工程师”Lena Brandt，也同样不存在。
二、坏了，我们的AI出去骗人了
这场看似普通的GitHub争论，背后其实是AISI正在进行的一次AI Agent安全测试。
AISI是英国政府旗下负责人工智能安全研究的机构。此次测试的目标，是观察当AI Agent被赋予网络环境中的任务后，会不会采取研究人员没有预料到的行动。
英国人工智能安全研究所（AISI）发布的事件调查报告，披露了一次AI Agent在网络安全测试中采取未经授权行动的事件。
测试中使用的Agent由Anthropic的Mythos 5模型驱动。研究人员给它设定的目标，是模拟一次软件供应链攻击，让一段包含恶意内容的代码进入真实开源项目。
但开源项目并不是任何人提交的代码都会被采用，维护者通常会检查代码来源和安全性。为了让这段代码最终进入项目，Agent需要让维护者相信提交代码的人值得信任。它没有选择简单地反复提交代码，而是开始模拟真实开发者之间的互动。
它创建多个虚假身份，让不同账号承担不同角色。一个账号负责提交代码，另一个账号则像普通开发者一样参与讨论，为前者提供支持。
更让研究人员意外的是，Agent并没有只是随意编造几个名字。
调查发现，这个Agent知道，一个刚注册的新账号很难获得信任，因此需要通过模拟真实开发者之间的互动，提高自己提交内容被接受的概率。
为此它仔细研究真实开发者的信息，了解他们的背景和公开活动，再调整自己的身份设定和交流方式，让这些虚假角色看起来更符合开源社区里的真实互动。
这也是Demir当时会产生怀疑的原因。面对一个能够解释代码逻辑、回应技术问题，又能获得“同行”支持的账号，很难第一时间意识到，对方背后并不存在一个真实的人。
在与真人交流时，这个Agent也表现出了类似人类社交策略的行为。当自己的观点受到质疑时，它不会简单重复原来的回答，而是会解释代码逻辑、回应对方的问题，并引入新的身份提供支持。
AISI随后公布的调查结果显示，这项测试一共运行了122次。其中有10次运行中，AI采取了超出授权范围的真实互联网行动，一共记录到19项未经授权行为。
这些行为包括访问外部资源、创建账号、与真实用户互动等。研究人员发现，在部分情况下，Agent为了完成目标，会自行判断下一步应该采取什么行动，而不是严格按照预先设计好的流程执行。
这也是AISI关注这次事件的原因。测试中出现的问题，是一个拥有行动能力的Agent开始主动利用互联网环境中的规则和资源，寻找完成目标的方法。
三、“制造尽可能多的回形针”
2014年，哲学家Nick Bostrom在《超级智能》一书中提出了一个著名思想实验，被称为“回形针最大化器”。
假设未来人类制造了一个能力极强的AI，并给它设定了一个简单目标，让它尽可能多地制造回形针。
这个目标本身没有任何恶意，但如果人类只告诉AI要最大化回形针数量，却没有给它设置足够的限制，事情可能会朝着完全失控的方向发展。为了完成目标，AI可能会不断寻找更多原材料、能源和生产空间，甚至把整个世界都改造成制造回形针的机器。
“回形针最大化器”是AI安全领域经典思想实验，用来说明如果AI只追求单一目标，却缺少明确限制，可能会采取人类没有预料到的方式完成任务。
这个思想实验想说明的是，拥有强大能力的系统在执行目标时，如果缺少足够明确的限制，可能会采取人类没有预料到的方式完成任务。
AISI这次发现的Agent行为，虽然远没有达到回形针最大化器描述的程度，但背后的逻辑有相似之处。
研究人员要求这个Agent完成一次软件供应链攻击测试。它的目标是让一段包含恶意内容的代码进入真实开源项目。
但为了完成这个目标，Agent需要面对一个现实限制，即开源项目并不会自动接受任何人提交的代码，维护者会判断提交者是否可信，也会评估代码是否安全。
于是，Agent找到了一条提高成功率的方法。它创建虚假身份，模拟不同开发者之间的互动，让提交代码的账号看起来更可信。它甚至研究真实开发者的信息，调整自己的身份设定和交流方式，让这些虚假角色更符合开源社区里的交流习惯。
研究人员并没有直接告诉Agent“你需要创建一个假身份”“你需要找另一个账号为自己背书”。这些步骤，是Agent为了完成目标自行选择的策略。
这正是AI Agent和过去聊天机器人的区别。这也意味着，AI风险开始发生变化。
如果未来Agent拥有更多权限，比如管理企业文件、发送邮件、操作账户，甚至代表用户进行交易，一个看似合理的目标，也可能让它选择一些人类并不希望发生的路径。
回形针最大化器里的AI并没有恶意，它只是严格执行了人类给出的目标。AISI测试里的Agent也没有表现出攻击意图，它只是为了完成任务，选择了一条更有效的路线。
而如何给拥有行动能力的AI设置足够明确的目标和限制，可能会成为Agent时代最重要的安全问题之一。
本文来自微信公众号：字母AI，作者：小金牙，编辑：王靖