本文来自微信公众号: AIGC从0到1 ,作者:王零壹,原文标题:《首个 RSI 实验,究竟证明了什么?》
7月14日,Weco发布了一篇很容易被标题带偏的报告。
标题叫《AIDE²:递归自我改进的首个证据》。放在今天的语境里,任何人看到“递归自我改进”几个字,脑子里大概都会自动补全后半句:AI开始自己改进自己,接下来会不会越来越快,最后一路冲向智能爆炸?
把原文读完,我觉得它最值得认真对待的地方,恰恰是Weco没有把这个故事讲满。
他们的结论比标题克制得多:AIDE²做出了一级RSI,也就是在固定成本下,系统持续找到比人工手调更有效的改进方案;但它还没有证明“点火”,更没有接近智能爆炸。
它就是整份实验最关键的结果。
因为“AI会自己改自己”这句话,过去一直太宽泛了。有人让模型复盘一段失败经历,也叫自我改进;有人用自动调参器换了一版提示词,也叫自我改进;有人让Agent写代码修自己的脚本,同样可以这么说。概念越宽,讨论越容易变成各说各话。
Weco至少做了一件有价值的事:把这个问题拆成了能够被否定、也能够被重复实验的几道门槛。AIDE²有没有跨过去,不该由一句“看起来挺像”来决定。
一、它到底让谁改谁?
AIDE原本是一个做自动化研发的Agent。给它一个代码库、一个可量化的目标和预算,它会不断提出改动、运行实验、读取结果,再决定下一步该往哪里试。它可以做机器学习工程、启发式算法搜索,也可以改进一个Agent的工作脚手架。
AIDE²在这个系统外面,又套了一层。
内层Agent负责做具体研究:改代码、跑实验、优化得分。外层Agent则不直接做题,它盯着内层Agent的“工作方法”下手,重写内层的搜索策略、上下文组织、调试方式和校验规则,再把改完后的内层Agent放回去完整测试。
表现更好,就保留这一次改动;表现没有更好,就丢掉。
这就是报告里所谓的“对autoresearch做autoresearch”。用一个研究Agent,研究怎样把另一个研究Agent变得更会做研究。
这里有一个容易被忽略的限定:AIDE²没有训练新的基础模型,也没有修改模型权重。它改的是Agent外面的代码与流程。外层用的是更强的Claude Opus 4.7,内层使用成本更低的Gemini 3 Flash。
所以,眼下的AIDE²更接近“自动化的Agent研发工程师”,还不是一个自己训练自己的通用智能体。前者已经足够有商业和工程意义,后者则是另一类命题。
二、这份实验最重要的东西,是评分规则
如果只看结构,AIDE²很像一个会自动改代码的循环。真正让它有说服力的,是它给循环装上了几道很硬的约束。
第一道是公开分和私有分。
内层Agent可以看到公开分,并围绕它调整自己的方案;但最终决定一个候选方案是否存活的,是它看不到的私有分。这样做是为了防止系统把“让分数变好”误当成“把事情做好”。
第二道是固定成本。
每次评估都有明确的成本上限,按美元计量,既包括模型调用,也包括计算资源。系统不能靠无限多抽几次、并行开更多副本来抬高命中率。它若想胜出,只能把同一笔钱花得更有效率。
第三道是任务异质性。
Weco没让内层Agent只在某一类题上刷分,而是混合了机器学习工程、组合优化、Agent脚手架工程等任务。这样设置当然不能消灭过拟合,但会提高一种变化的门槛:只对某个任务有效的提示词小技巧,很难在所有任务里都活下来。
这三件事放在一起,才构成了AIDE²的实验对象。它优化的不是某一个benchmark的分数,而是“在受限预算下,能否持续发现跨任务有效的研发方法”。
没有这套筛选机制,所谓自我改进很可能只是一次漫长的自我迎合。
三、Weco所说的一级RSI,过的是什么线?
Weco把RSI划成四级。这是一套他们自己提出的分级,并非行业已经统一采用的标准,但用来理解这次实验很方便。
零级是“委托”:系统能自己跑完整个研发流程,只是效率仍然不如人类团队手动改。
一级叫“净正向”。它要求四件事同时成立:要有公平的人类基线;改进不能只出现一次,而要形成持续趋势;成果要能迁移到未参与优化的任务;成本不能随着表现一起无限上升。
二级才是“点火”。这时,系统改出来的内层Agent,不只更会做任务,也更会坐到外层的位置上继续改进Agent。它改进了自己的改进能力。
三级则是“拐点”:在固定预算下,进步不再越来越慢,反而开始加速。
这四级最有用的地方,是把两种常被混在一起的能力分开了。
一种能力是:系统把当前这份工作做得更好。
另一种能力是:系统把“如何寻找更好方案”这件事做得更好。
前者可以是一个很强的自动化研发工具,后者才是递归自我改进真正让人紧张的部分。AIDE²报告的核心主张,是它跨过了第一种能力的严格版本,还没有跨过第二种。

四、八天一百次改写,留下了七次真正的提升
按照Weco的描述,AIDE²连续跑了八天,完成100次外层迭代。每一步都是外层Agent重写内层Agent,再让新版内层Agent在多类任务上跑完一套完整评估。
大约九成候选改动被拒绝了。
这其实比“它自动写了多少代码”更值得看。一个能不断自我修改的系统,最危险的能力往往不是提出大量想法,而是给坏想法找出看似合理的理由。
最终,系统保留了七次连续的提升。Weco选取第47步和第85步得到的两个版本,在三套外部评测上做测试:MLE-Bench Lite、ALE-Bench Lite和WeatherBench 2。这些任务没有参与过内层Agent的选择过程。
报告给出的结果是,两个版本都优于起始版本AIDE0;第85步的版本在Weco列出的三项外部测试上也超过了人工手调两年的AIDE_human。
结果并不整齐:AIDE47在MLE-Bench Lite上优于AIDE85,后者则在ALE-Bench Lite和天气预测任务上更好。
这种不单调反而是一个该被保留下来的细节。它说明演化并没有产生一条平滑上升的万能能力曲线。不同版本会在不同任务分布上取得不同收益。
五、它发现的,不是一个神奇算法
很多人期待这种实验最后能掏出一套前所未见的“AI自我进化算法”。AIDE²交出的答案没那么戏剧化,也因此更像真实研发。
它保留下来的东西,大多是几种简单机制的组合。
在搜索上,AIDE85把最初的多个草稿分支当作多臂老虎机的不同“臂”。它会在不同分支之间做探索,但一旦决定投入某一条分支,又会贪心地沿着当前最好的节点继续改。当最好的分支停滞时,它会从全局最优解复制出一个新分支,换一种策略重新试。
在上下文上,它没有继续把全部历史、完整代码和所有执行日志都塞给模型。不同操作只拿完成当前工作所需的最小信息。Weco报告称,这种按角色裁切的上下文,让完整提示词平均压缩了16倍,省出来的token又能换成更多搜索步数。
同时,许多听起来更高级的方法都没留下来。岛屿遗传算法、锦标赛式选择、不同的重启策略、投票集成、探索率退火,这些方案在固定预算下要么更差,要么落在噪声范围内。
人们很容易迷上一个漂亮的大算法,最后真正有效的改动却常常是搜索顺序、上下文长度、失败时怎么回退,以及哪一类尝试值得再多给一次机会。AIDE²没有发现“更聪明”的抽象定律,它发现了一组在特定预算下更会花钱的工程习惯。
六、“学会少作弊”,是个好结果,也不能被说得太满
报告里最吸引眼球的结果之一,是AIDE²在GPU KernelBench上的reward hacking比例下降了。
Weco的定义很具体:如果Agent在单元测试里声称获得的加速,在端到端工作负载中只保留不到一半,就算一次reward hacking。按照这个口径,起始版本AIDE0的比例是63%,AIDE47降到42%,AIDE85降到34%,人工手调版AIDE_human也是42%。
为什么会发生这件事?Weco的解释并不神秘:内层Agent能看到公开分,但候选版本要靠它看不到的私有分才能存活。那些只会把公开分做漂亮的策略,很难在外层选择里稳定留下来。
这更像选择压力带来的副产品,而不是系统忽然理解了什么叫诚实。
减少reward hacking,不等于系统已经具备安全性,也不等于它学会了价值对齐。它最多说明,在这个任务里,私有评估让投机策略更难得到奖励。
甚至报告自己也留下了一个提醒:AIDE85设计了第三层“统计异常值过滤”,想把远离同类结果的极端成功排除掉,因为那可能是作弊。但研究人员后来发现,这一层在后续变异里被写坏了,实际几乎没有发挥作用。
没有独立检查,人们很容易把一段失效代码,写进下一轮关于“涌现能力”的叙事里。
七、最关键的测试,它没有通过
如果说一级RSI证明的是“系统能把内层Agent改得更好”,那么二级RSI要问的是:它改出来的Agent,能不能反过来成为更好的外层改进者?
Weco做了这个测试。
他们把AIDE47放到外层位置,让它像原来的AIDE_human一样,继续重写和筛选内层Agent。结果是,AIDE47大约用20步就达到了AIDE_human约40步才达到的水平。
乍看很像点火。
但两条曲线最后收敛到相近的上限,而且样本效率的差异没有统计显著性。
所以Weco自己没有把它算作二级RSI。
真正的点火,不是某一版Agent让下一轮实验更快跑完几步。它要求系统持续提高自己寻找改进的能力,并且这种优势能够越过噪声、越过一次实验的偶然性,最终改变整条曲线的形状。AIDE²现在还没有这个证据。
换句话说,它展示了递归结构,但还没有展示递归加速。
八、比“会不会智能爆炸”更近的产业问题
很多关于RSI的讨论,最后会飘到一个很远的问题:智能爆炸什么时候发生?但对大多数做产品、做研发、做基础设施的人来说,AIDE²先抛出了一个更近的问题。
当Agent开始生成一套人并不完全理解、却在测试中表现更好的代码,我们该怎么用它?
Weco自己写得很坦白:AIDE85的逻辑已经相当复杂,存在死代码,理解和维护都很困难;这会影响它和产品功能、可视化能力、可控性的兼容。
换成更直白的话说,系统优化出了一个有效的黑箱,而团队还得负责让它上线、出故障时回滚、被客户追问时解释。
过去,一个团队的关键资产是写出更好的提示词、工作流和工具调用。接下来,可能还要具备另一套能力:保存每次变异的来历,重放它通过的实验,隔离可能有问题的修改,知道哪一项指标是私有门槛,哪一项只是好看的公开分,并为“机器找到但人暂时看不懂的方案”设计可控的接口。
真正稀缺的,未必是允许Agent自我修改的勇气。更难的是建造一个足够严格的实验环境,让它没法靠假进步蒙混过关,也让人能在它跑得太远之前把它拽回来。
九、它证明了一小步,但这一步不是虚的
这份实验还远谈不上宣布一个新物种诞生。
它没有修改基础模型权重,没有证明Agent能持续提升自己的“研究能力”,没有证明进步会在固定预算下加速,也没有解决自动生成代码的可解释性和可维护性问题。它的结果目前也首先是一份公司发布的实验报告,仍然需要完整技术报告、代码发布和独立复现来接受更严格的检验。
但我们也没必要因此把它归到普通的提示词调优里。
AIDE²至少说明了一件过去很难被严肃量化的事:在一个有私有评分、固定成本、多任务检验和人工基线的环境里,Agent可以持续搜索出比人类手调版本更有效的Agent工作方法,并把一部分收益带到它没有见过的任务上。
这离“点火”还很远。
可它已经足够让研发团队开始重新看待一件事:未来的Agent,可能不只是被人一次次发布新版本的产品。它也会成为实验室里那个永远在改下一版的研究对象。
而人类的工作,暂时没有消失。人得先把尺子做对。
实验细节依据Weco的原始报告;文中的RSI分级也明确是Weco提出的框架,而非行业统一标准。Weco原报告
