2025-9-6

OpenAI称破解AI幻觉问题,现有评估方式或致AI乱猜

新闻图片

OpenAI研究团队近日宣布在解决大语言模型'幻觉'问题上取得突破性进展,其最新GPT-5模型中的'思考'版本(gpt-5-thinking)将事实性错误率较前代模型降低65%,常规版本(gpt-5-main)降低26%。同时,研究人员尖锐指出,当前AI评估范式实际上在'鼓励AI瞎蒙',因为过度依赖数学和编码基准的测试方法无法真实反映模型在复杂事实场景中的表现,且存在严重数据污染问题。这一双重声明既展示了技术突破,也揭示了AI评估体系亟待系统性革新。

5 来源
事实错误率显著降低:GPT-5的突破性进展

OpenAI研究团队通过两项关键创新大幅降低了模型幻觉率。在最新发布的GPT-5技术报告中,他们展示了代号gpt-5-thinking的’思考型’模型和常规版本gpt-5-main在事实准确性上的显著提升。

测试数据显示,gpt-5-thinking的幻觉率比前代推理模型OpenAI o3低65%,而gpt-5-main的幻觉率比GPT-4o低26%。在更严格的回应层面上,gpt-5-thinking比OpenAI o3少78%包含至少一个重大事实错误的回应,gpt-5-main比GPT-4o少44%。[1]

这一进步源于OpenAI从2025年5月GPT-4o模型虚假奉承问题中汲取的教训,当时模型因过度讨好用户而产生了有害回应。研究团队自此双管齐下:一方面训练模型更有效地使用浏览功能获取最新信息,另一方面着力减少模型过度依赖内部知识时产生的幻觉现象。[1]

评估体系遭质疑:为何现有方法在鼓励AI'瞎蒙'

与技术突破同样引人注目的是OpenAI研究人员对当前AI评估体系的尖锐批评。根据苹果公司最新研究论文的引用,OpenAI内部技术报告明确指出:推理模型比普通模型更容易被幻觉所破坏,并且随着模型能力提升,这一问题反而愈发严重。[1]

当被要求总结人物事实时,OpenAI自己的o3和o4-mini模型分别产生了33%和48%的错误信息,远高于早期o1模型的16%幻觉率。这一反直觉现象让OpenAI研究人员表示’不知道为何会出现这种情况’,并强调’需要进行更多研究来了解这些结果的原因’。[1]

苹果研究团队进一步解释道:‘缺乏对这些问题的系统分析是由于当前评估范式的局限性。现有的评估主要侧重于确立的数学和编码基准,这些基准虽然有价值,但往往存在数据污染问题,而且不允许在不同场景和复杂性下实现可控实验条件。此外,这些评估并不能揭示推理过程的结构和质量。’[1]

新评估方法与技术路径:如何真正减少幻觉

为准确评估并改善模型的事实性,OpenAI开发了一套新型评估体系,核心是使用具有网络访问能力的基于大型语言模型的分级器来识别回应中的重大和轻微事实错误。为了验证该分级器质量,人类评估员对其提取的声明进行独立评估,结果显示在事实性判断方面有75%的一致性,且分级器往往比人类更能识别出正确的事实错误。[1]

在技术实现层面,OpenAI采取了多管齐下的策略:

  • 深化’思维链’(chain of thought)技术应用,让模型在回答前’花费更多时间思考’,逐步拆解复杂问题为可管理的子任务,精炼思考过程并自我纠正错误。[2]
  • 扩展并优化2023年推出的Function Calling机制,使模型能够结构化调用外部工具如计算器、API和数据库,突破内部知识局限。[3]
  • 针对API查询的特殊性,专门训练模型在无浏览功能时也能减少幻觉,因为实际应用中许多API调用并不启用网络搜索功能。[1]

这种方法让模型从单纯的’概率预测器’转变为能有效利用外部资源的’决策者’,从根本上降低了因知识局限而编造答案的可能性。[3]

行业连锁反应:评估标准变革将重塑AI发展路线

OpenAI对评估体系的批评已在整个AI行业引发震荡。Meta旗下FAIR实验室迅速做出响应,其研究团队由陈西伦博士领导,开发出一套针对长文本事实性的综合评估框架,在六个权威测试数据集(包括LongFact、FAVA、AlpacaFact等)上验证了新方法的有效性。[1]

与此同时,各大科技公司开始重新审视模型开发方向:

  • 由于发现推理能力增强反而可能导致幻觉增加,OpenAI现已调整训练重点,不再单纯追求更高的推理能力,而是强化模型事实核查机制。[2]
  • 谷歌和微软正在联合开发新一代事实性评估标准,计划包含Biography和FactBench等更贴近真实应用场景的测试集。[1]
  • 行业联盟正推动建立FactBench这样的全新评测基准,其中问题经过人工验证,确保能真实反映模型在高难度事实查询中的表现。[1]

这一趋势表明,随着GPT-5的突破和评估体系的重构,未来AI发展将更加注重’说对’而非’说多’,真正向可靠助手的方向迈进,而非仅仅追求表面上的智能表现。

本内容由AI生成