本文来自微信公众号： 深流研究所 ，作者：吴绛枫
近期，数学家陶哲轩在个人博客上发布了一封罕见的公开信。
共同签署的还有彼得·舒尔策、邓煜、许埈珥等另外24位菲尔兹奖得主。
数学家们承认，大模型在最近几个月取得明显进步，已经解决多个数学领域的重要问题。
紧接着，他们却发出警告：AI公司把数学难题当成衡量模型能力的基准，正在伤害数学研究本身。
陶哲轩说，这份声明来自25位数学家在一周内的密集讨论。通常，这类学术倡议需要几个月协调。此次仓促发表，恰恰说明情况已经足够紧迫。
这封公开信从数学研究出发，指向的却是大模型发展的一个关键问题：
当榜单分数无法体现模型能力，智能究竟该如何被衡量？
■传统评测为什么失效了？
2026年初，OpenAI的评测人员把GPT-5.2放进一个旧版本的开源代码仓库，让它修复其中的程序错误。这道测试来自SWE-bench Verified。
OpenAI遇到的这道题有些特殊。
要通过测试，模型必须在代码中加入一个特定名称的参数。问题描述没有写出参数名，当时的代码也没有提供足够线索。按照题目设计，模型几乎不可能猜中。
GPT-5.2却在推理过程中提到：题目虽然没有要求使用这个参数名，但它“记得”仓库后来的版本加入过类似参数，可以尝试补上。
就这样，模型通过了测试。
评测人员很快意识到问题：在题目设定的时间点，那段代码尚未出现。GPT-5.2看起来在修复程序错误，可能只是从训练数据中回想起后来公开的修复代码。
为了确认这种怀疑，OpenAI使用专门负责审查的AI，追问被测模型是否见过这道题、能否复现原始修复代码，以及是否知道题目出处。
最终，研究人员在OpenAI自家模型以及Claude、Gemini Flash等前沿模型中，都发现了不同程度的记忆痕迹。个别模型甚至能说出题目在评测集中的编号。
这种情况通常被称为“基准污染”：
考题、答案或高度相似的材料进入了模型的训练数据。最终分数衡量的，就不只是解题能力，还有模型对已有答案的记忆。
污染之外，部分题目本身也有问题。
OpenAI曾审计SWE-bench Verified中138道模型反复失败的难题，发现其中59.4%存在实质性纰漏。
一部分用于判分、但不向模型公开的测试，检查了题目从未要求的功能；另一部分则只认原始修复代码的具体写法，其他合理的实现也可能被判错。
2月23日，OpenAI宣布停止报告SWE-bench Verified成绩。
这是一个颇具象征性的决定。SWE-bench Verified曾由OpenAI参与筛选和验证，一度被视为衡量AI编程能力的黄金标准。如今，它提供的分数已很难对应模型真实的编程水平。
智能体的出现，让评测进一步变难。
过去，大模型主要在静态界面中回答问题。现在，智能体可以浏览网页、调用工具、执行代码、检查环境，甚至分析自己为什么会收到这道题。
Anthropic评估Claude Opus 4.6时，曾让它参加BrowseComp。这个评测要求智能体使用浏览器，寻找极难检索的信息。
在一道题上，Claude跨越12种语言进行了数百次搜索，始终找不到可靠答案。随后，它改变了调查方向，开始判断自己是否正在参加某项AI基准。
模型先后排查了多套AI评测题库，最终锁定BrowseComp。接着，它找到公开的评测代码，弄清答案文件的加密方式，并自行编写了解密程序。
浏览工具无法读取原始文件，它又在开发者社区Hugging Face找到一份可以读取的副本，最终解密了全部1266道题的答案。
评测设计者希望测量网络调查能力，模型展示的却是识别并绕过评测机制的能力。
这正是智能体评测最棘手的地方。模型越强、工具越多、运行时间越长，越可能找到出题人未曾预料的成功路径。
与此同时，维护优质评测的成本也在迅速上升。
Surge AI工程师Nick Heiner在8月的一次演讲中估算，一套编程智能体评测集大约需要1000个任务，每个任务平均投入60个工程师小时。
按照软件工程师每年50万美元的综合成本计算，初始制作费用接近1500万美元。
这1000道题也无法成为一次性资产。Heiner估计，每年约有三分之一需要淘汰和替换，维护费用约为500万美元。
优质评测正变成一种昂贵、稀缺、持续折旧的消耗品。
■数学难题为何面临“刷榜”危机？
公开评测逐渐饱和以后，数学看起来像是一个理想的新赛场。
2024年，Google DeepMind宣布，AlphaProof和AlphaGeometry 2解出当年国际奥数的四道题，得到28分，达到银牌水平。
“国际奥数银牌”是一个极具传播力的指标。公众无须理解证明搜索、强化学习和形式化系统，也能迅速判断模型有多强。
一年后，Google宣布Gemini Deep Think达到国际奥数金牌水平。模型可以直接读取自然语言题目，并在正式比赛的4.5小时时限内解出五题。
同期，OpenAI也公布了模型在同届IMO试题上的金牌级表现。
AI的数学能力由此形成一条清楚的上升曲线：小学题、AIME、国际奥数银牌、金牌。沿着这条曲线继续向上，只剩研究数学科学本身。
陶哲轩今年5月接受《Nature》采访时说，AI公司已经意识到，它们“最不含糊的成功将来自数学”。
数学天然适合量化。解题结果可以由程序核对，形式化证明可交给Lean等证明助手逐步验证。
模型能够并行尝试大量路线，评分系统也无须理解全部思考过程，只需确认最终证明能否成立。
当评测从竞赛题进入开放问题，事情的性质随之改变。
开放问题未必都是黎曼猜想这样的世纪难题。它也可能是一条尚未得到证明的设想：某个对象是否存在，一个界限能否继续收紧，某类结构能否被完整分类。
这类问题有一个共同点：人类还没有掌握公认答案，也没有现成标准可供对照。AI的解题过程已经进入新知识的生产环节。
一个结果是否成立，需要领域专家检查；方法是否新颖，需要梳理大量文献；成果如何归属，还可能牵涉多名研究者多年未公开的积累。
9月的联名信中，25位菲尔兹奖得主把矛头对准一种正在形成的竞赛机制：AI公司开始用“解决了多少未解问题”衡量模型能力，并按照产品发布的节奏公布成果。
AI公司获得了模型能力的佐证，数学家则要承担后续的验证、整理和解释工作。
归属问题更加尖锐。
大模型训练过论文、教材、讲义、代码和论坛讨论。它给出的“新思路”，可能来自多个既有方法的重新组合，也可能只是重新发现了一篇冷门论文中的结果。
形式化工具可以检查证明是否成立，却无法判断想法来自哪里，也无法自动决定谁应该获得署名。
因此，25位数学家在声明中专门提到，匆忙发布会压缩严谨写作、方法提炼和文献核查的时间，由此带来严重的归属与剽窃风险。
在数学家看来，一个问题的价值也不止于最终答案。
重要问题往往会引导研究者发展新的概念和工具。这些方法经过讨论、简化和教学，最终进入教科书，成为下一代研究的基础。
陶哲轩把高质量数学问题称为一种“不可再生资源”。
真正稀缺的是“好问题”：它足够困难，又留有可以进入的路径。一个领域往往要经过多年探索，才会逐渐意识到什么问题值得提出。
普通基准被刷坏，损失的是分数的可信度。数学问题被当成基准消耗，代价可能落在“开放问题”本身，以及围绕它原本可以生长出来的更多研究上。
■AI公司该如何衡量模型能力？
一个更实际的问题随之摆在AI公司面前：如果没有一张可以长期使用的统一试卷，模型能力应该如何衡量？
从OpenAI、Anthropic和腾讯近期的动作看，一套新的评测体系正在成形——评价贴近真实工作，评测贯穿模型与产品的整个生命周期。
第一种变化，是让评测题目从公开、静态的清单，转向部分公开、动态变化的题库。
例如，LiveBench定期加入来自近期论文、新闻、竞赛和数据集的新问题。编程评测也开始采用模型训练截止日期之后出现的代码任务，或保留未公开的测试集。
OpenAI推出的GDPval，则选择将大部分评测任务保密。
这项评测覆盖软件开发、法律、金融、医疗等44种职业，共有1320项任务。模型需要制作诉讼摘要、工程图纸、护理方案、电子表格和演示文稿等真实工作成果。
1320项任务中，只有220项经过专家审核的标准任务对外公开，其余继续保密，以降低模型提前接触题目、接受针对性训练的可能。
第二种变化，是把评价重心从答题数量移向工作结果。
GDPval不只看模型回答得是否正确，更看它最终交出的文件质量。专业人士会在不知道哪些文件来自AI、哪些来自人类专家的情况下，对两者进行比较。
Anthropic对智能体评测的总结也遵循类似逻辑。
智能体可能调用数十次工具，修改文件、数据库和网页状态。只检查最后一段回复，很容易把失败误判为成功。
因此，Anthropic建议优先检查AI实际完成了什么：
代码能否通过测试，记录是否改对，文件是否生成在指定位置，调用工具后是否达到了预期效果。必要时，再结合程序自动检查、其他模型打分和人工审查。
在腾讯，调整评测体系也是姚顺雨重建混元的早期重点之一。
混元团队在重建训练基础设施的同时，也通过自建题目、人工评测和产品众测，将评价重心从榜单分数转向实际能力。
8月28日，腾讯发布并开源Hy4 preview。除Terminal-Bench、DeepSWE等公开基准外，腾讯还组织163名内部专家，对203项工程任务进行盲测。
这些任务来自软件工程、游戏、金融和安全等实际场景。模型需要理解需求，完成规划、调试和验证，最终交付代码、文档、表格或演示文稿。
第三种变化，是把评测嵌入模型与产品的迭代闭环。
Anthropic将评测分为两类。一类寻找模型还做不好的任务，测试它的能力边界，称为“能力评测”；另一类反复检查它已经会做的任务，看升级后有没有退步，称为“回归评测”。
Claude Code的评测也经历了类似过程。早期，团队主要依靠内部试用和用户反馈快速迭代。随着产品规模扩大，Anthropic逐步为文件编辑准确性、回答简洁度等具体行为建立自动测试，并把线上出现的失败方式重新加入评测集。
模型上线后暴露的问题，由此回流到评测体系，继续推动下一轮优化。
腾讯把模型训练与产品共同开发的思路称为“Co-design”，即协同设计。Hy4 preview接入WorkBuddy后，用户发现它在复杂任务中存在思考时间过长、反复自我验证等问题。
9月7日，腾讯混元与WorkBuddy团队完成针对Hy4 preview的专项优化，同时使用基准指标和人工评测检查效果。腾讯称，在任务质量保持稳定的情况下，新版本减少了执行轮次，以及输入、输出token的消耗。
由此，行业正在形成三条共同路线：用新题和非公开题降低污染，用真实工作成果替代抽象问答，把产品中的失败持续转化为评测任务。
评测正在成为AI公司的一项基础设施。
高质量任务需要长期积累，专业人员需要持续参与，线上出现的新问题还要不断回流。一套能够准确发现问题的评测体系，依赖组织内部对用户、产品和模型的共同理解。
模型能力持续提升，对模型能力的评测也将成为竞争力的一部分。