本文来自微信公众号： 42号电波 ，作者：James，编辑：大吉，原文标题：《和王啸峰聊聊 GigaWorld-1：当世界模型成为具身智能的物理裁判》
语言模型的评测几乎是即时的。训练一停，把测试集丢给 GPU，几秒钟就能拿到一串分数，好还是不好，一眼就能看出来。
换成机器人的「大脑」就完全是另一回事了。一个 VLA 模型刚迭代出新版本，研究员没法在屏幕前把它评完，他们得把新策略刷进真机，在场地上一件件摆好测试道具，然后守在旁边用肉眼一遍遍看它执行、一次次记录，直到跑够足够多的样本。顺利的话，一两天后能拿到一个跑分。
物理评测的低效，正在拖慢整个具身基模的迭代，成了决定水位的那块短板。这不是某一家的问题，几乎所有头部公司都在为「评测」这件事付着时间成本。也正因如此，行业里开始冒出一种用算法绕开物理瓶颈的思路：既然真机太慢，能不能让一个真正懂物理规律的世界模型来当裁判？
就在昨天，我们和极佳视界算法合伙人，同时也是报告的作者之一王啸峰一起聊了聊，他在 AI 与世界模型领域已经深耕多年。
对话里，他拆开了「让世界模型当裁判」背后的门道，直言现在的 VLM 为什么做不好物理评估，也把 3D 和视频生成两条路线未来的分野讲得相当透。更关键的是，他给出了一个越来越清晰的判断：未来三五年，抛开刷榜的热闹，这条赛道拼到最后，比的是把数据、模型和评测真正打通的系统能力。
以下是 42 号电波与王啸峰的对话，略经编辑：
为什么把世界模型做成评估器
Q：这次 GigaWorld-1 将世界模型定位为评估器，你们当初是基于哪些核心判断或实际需求，决定从这个方向切入的？
A：其实我们公司做 World Model 非常早了，我们在 2023 年就开始做，那个时候主要是做智驾相关的方向，做评估器已经做了挺久了。在具身这个领域，我们之前其实有过数据引擎，就是去年 11 月份，我们的 GigaWorld-0 是用来生成数据，给到后面的 VLA 进行训练的。但是这是在前面一端，也就是数据端；在评测这一端，我们之前其实一直没有大规模地往 World Model 评测这个方向上去做。
但是最近我们内部在迭代具身的基础模型，比如 VLA、World Action Model 这些，会遇到一个痛点，就是它迭代的效率会非常受到后面评测的影响。举个简单例子，语言模型那边可能训出来一个模型，很快就能拿到他们已有的 benchmark 上去，在 GPU 上跑，跑完之后得到一个分，他们就知道这版模型和上一版模型的区别。但是具身的 VLA 模型，或者 WAM 模型，基本上迭代了一个版本，要知道这个版本好还是坏，就要提交给我们的 benchmark 团队，也就是真机评测团队去测。首先他们要排队，然后再去测，再拿到反馈，可能都是 1 到 2 天之后的事情了，所以整体来说效率比较低。
这个时候我们就必须要寻求更快的、更便捷的评测方式。那么其实我们之前也有过比较久的 World Model 积累了，包括在智驾端、具身端都有很多积累，所以自然而然就会想用 World Model 去做这样的事情。
另外一个契机，正好是今年 6 月上旬，CVPR 在美国丹佛举办的这个比赛里，我们也搞了一个 World Model Track。这个 track 其实想评估的，就是所有人的世界模型到底能不能合格地作为一个 evaluator，作为一个评测器。借着这个比赛，我们和很多选手交流，也有我们自己内部迭代经验的一些 know-how，加上大家提交上来的数据，都会成为我们 GigaWorld-1 这个技术报告背后实验信息的一些支撑。
我们希望正儿八经地把 World Model as Simulator、as Evaluator 这件事情给做好。它背后可能对应的是，目前这件事情的能力边界是怎么样的？怎么做才能把它往那个方向更加推进一步，能够替代真机？但目前我们的目标是，它只能做到减少对真机的依赖，还不能完全替代真机。对，这个就是我们大概的一个发展心路历程。
Q：目前你们减少对真机的依赖，是指比如说时间效率上怎么提升的？这里面的提升点主要在哪些地方？
A：我们会把真机评测作为最后一道关卡，不是所有模型都值得去到真机评测那个关卡。在上真机评测之前，我会拿我的 World Model 去对它进行一个分数的评估，只有达到一定量级了，觉得它真的 OK 了、没有问题了，我们才会让它上到真机那一段。
Q：从长期来看，World Model Evaluator 有可能完全替代真机评测吗？目前最大的差距主要体现在哪些方面？
A：我觉得目前情况是，部分任务现在是朝着完全替代真机那个方向去走的。少部分任务的话，可能比较难，现在没有办法完全替代真机。但是可能随着整体的迭代优化，我们希望能一步步减少对真机的依赖。
实际上我们内部已经把 World Model as Evaluator 放到 benchmark 团队开始用起来了。之前 benchmark 团队更多是用真机和仿真去做，那么其实在用起来的过程中，我就能清晰地看到，World Model evaluate 出来的分数和真机 evaluate 出来的分数，它们的 gap。这个 gap 就可以作为我进一步优化 World Model 的一个指标。我的 World Model 会越来越朝着贴合真机的方向去运转，去优化。
同时，我也能拿到 World Model as Evaluator 在里面起的作用。它可以去评估之前的策略到底好不好。就相当于这两件事情是相辅相成的：我既可以拿它去减少对真机的依赖，去拿到分数；另外一方面，它和真机存在的 gap 也可以成为我优化的目标，让我的 World Model 在这个任务上能够更加替代真机。
Q：所以最终你们是相信它能百分百替代真机吗？还是说它可能会存在一个百分之九十几，或者永远会存在一个 gap？
A：我觉得会在百分之九十几，不可能完全替代真机。
Q：如果 World Model 在评估体系中承担起核心角色，你认为未来机器人公司的整体研发流程会发生哪些变化？
A：我觉得是会改变的。因为它在整个模型端，其实扮演的是裁判，扮演的是 benchmark 那一侧的角色。
那我觉得其他所有头部公司都会去 follow 这一块，去加速他们内部基础模型的迭代。
Q：从实际效果来看，目前在开发流程中，效率大概提升到了什么程度？能否从时间或流程上给一个更直观的对比？
A：这个其实要说特别具体的可能不大方便，但是我可以大概说一下整个行业现在的情况，以及大概的 pipeline 是如何的。
正常来说，是模型团队、算法团队、数据团队交付给模型一批数据之后，模型团队就开始训练。训练完之后，他可能自己内部有一些模块的消融，比如说出个两三版模型。这些可能是预训练模型。预训练模型之后，又会上一些后训练，就是模型的后训练，能够去做一些具身操作任务。
最后，后训练好的这波模型，我就想知道这个模型能力到底怎么样，我要去评估它了。这个时候模型团队就会把训好的东西提交到 benchmark 团队进行测试。
Benchmark 团队测试的话，会根据优先级以及提交顺序来进行测试。这个时候就是 benchmark 团队拿着你的模型，去找到对应的人，走到真机面前去摆放位置，进行测试，有结论之后提交到平台上。可能更新了整个平台之后，算法那边就能看到你现在的结果，去评估当前训出来的这几个模型谁好谁坏，以及去分析可能的好坏原因，再去内部迭代，甚至反馈给数据团队。
那么可以看到，如果评测那边比较慢的话，其实基本上所有基模公司都会遇到这个问题，就是确实比较慢。特别是你想把评测做得比较 solid 的时候，模型团队会一直等着后面的 benchmark 团队给结果。如果他们给不出来，那我前面训的模型也不知道这一版是好是坏，我可能只能盲目地训下去，然后会导致后面的 benchmark 越积越多。差不多会处于这样的一个情况。
Q：如果按照你们的判断，这种新流程要在行业内普及，并达到接近真机（比如 90%+）的替代效果，大概还需要多长时间？
A：据我了解，像国外的 Physical Intelligence 和 NVIDIA 的 Cosmos，已经开始联合去做这样的事情了，但是我不知道他们内部真正有没有大规模推动这件事情。
什么样的世界模型才能做裁判
Q：在你们提出的 WMBench 中，最核心的评估维度是什么？它与传统 World Model 评测指标的区别在哪里？
A：我先说一下我们做 World Model Bench 这件事情的一个初衷。其实现在评估 World Model 这个模型质量本身，业界已经有非常多的 metric 和 benchmark 去做这个事了。但是我们这篇文章更多关注的是，World Model 能不能真的作为一个 evaluator 这件事情。那这件事情的话，我就需要有一个 golden metric，真正和 World Model as Evaluator 相关的 metric，作为我的 guidance。那么其他的 metric 只能作为一个辅助的 metric 去看。
我们的 golden metric 也是我们在 CVPR 比赛中用的。简单来说，我们在 World Model 中 rollout 的结果，成功和失败，一定要和真机 rollout 的成功和失败完全匹配。这边成功，在那边也成功；这边失败，在那边一定也要失败。这个就是我所需要的 golden metric。
但这个 golden metric，目前以及我们在 CVPR 中使用的，主要是人工来评估。因为其他你让模型去跑，不管是多么大的模型，其实它都不靠谱。它可能只有百分之八九十的准确性，但是百分之八九十是我无法接受的。我希望它能得到最标准的结果，就像人眼看一样。所以我们当时拿了大量的人工去标注每个队伍提交上来的结果，并且一个队伍可能有三个人反复 A/B test、check，最后得到一个结果。
所以可以看到，在这里面，人工标注起到了比较大的作用。但是我又希望能够减少对于人工的依赖。所以就不得不回到这个问题：业界已经有那么多 metric 了，那到底哪些 metric 是真正和我后面人工标注的 golden metric 相关的？这个就是一个问题，也是我们论文重点探讨的一个问题。
因为如果说，业界一共有 50 种 metric，我从中挑选出了 8 种，或者说 8 到 10 种最和后面那个 golden metric 相关。那之后我是不是可以减少对于人工标注的依赖？我是不是完全可以用前面的这 8 种 metric，就去判断这个 World Model as Evaluator 这件事情到底好不好？或者 partially 也可以去判断。所以这个是我们文章分析的一个重点。
最后我们会有一个结论，也在文章中写出来了。就是业界比较有名的一些 benchmark，它里面会有十几二十种指标。这个指标我们可能划分了几种类型，有些类型的指标会和我们后面的 golden metric 非常 align，有一些线性相关关系；有一些 metric 是不怎么 align 的，甚至有一些 metric 可能是负相关的。我们会把这个讨论得非常清楚，也会把一些 metric 的边界讨论得非常清楚，告诉大家该用哪些 metric 去优化你的 World Model as Evaluator 这件事情。
除此之外，因为辅助指标始终是辅助指标，它不能替代后面那个 golden metric。但是 golden metric 现在又需要人工标注，那么自然而然就会有一个问题：我能不能有一个东西直接去替代后面的 golden metric？也就是更加直接地用自动化的方式得到那个 golden metric。
对我们来说比较好的是，因为我们正好举办了一个比赛，有上百支队伍提交了非常多的 rollout 数据，我们也对这批 rollout 数据有人工的打分评测。这个分数正好可以用来训一个 Judge 模型，或者说一个多模态大语言模型，让它去判断这轮结果应该怎么和人工分数 align。所以我们内部也训了一个这样的裁判模型，去替代人类标注对这件事情的影响。
简短来说，就是我们从两个维度去做。一个是，业界已经有非常多 automatic 的 metric，也就是自动化计算、不需要人工计算的 metric，我们会度量好它们的边界能力，到底哪些是和 golden metric align 的，哪些是不 align 的。另外一个是，我们会拿大量人工标注，内部已经训练了一个 VRM，一个 value model，去替代这部分 golden metric 对人工标注的依赖。就是从这两个角度去做 WMBench 这件事情。这个是我们做这个 benchmark 的 motivation，也是最重要的原因。
Q：在实际应用中，你们是否观察到 VLM 给出的评分与真实物理结果不一致的情况？这种偏差通常是如何产生的？
A：非常多。因为有的 metric 是 VLM 打出来的 metric，就是 VLM 去算你的 interaction 物理一致性到底是否符合。其实在我们的结论里，它是呈负相关的。这个 VLM 打出来的分数，和最后 World Model as Evaluator 这件事情的 golden metric，是呈负相关的。它俩完全不是一回事。
这件事情的本质原因，就是因为现在的 VLM 对于具身的一些物理常识性判断，还不具有很好的辨别能力，这个就是我们得出来的一个结论。
我们自己是怎么做的呢？我们自己并没有拿 VLM 去判断它的物理到底是否一致，因为现在 VLM 可能确实没办法做好这个事，这也不是我们现在要去解决的事情。我们现在要去解决的事情是，VLM 能不能很好地去判断当前一个 World Model rollout 完之后，它目前这个结果是成功还是失败的，以及它成功的原因是什么、失败的原因是什么。
再去看真机 rollout 之后，把真机的结果给到 VLM，然后 VLM 去判断成功还是失败，以及它成功的原因、失败的原因是什么。我希望这两个东西能够足够准确地反映出来，就是 VLM 能够足够准确地把这个东西预测出来，并且这两个东西在真机和我的 model 上是 align 的。这个就是我们想要去做的事情。
Video 还是 3D：世界模型的路线之争
Q：世界模型里面，隐空间、3D 和 video-based 的世界模型，在作为策略评估上，它们各有什么优劣势？
A：我觉得隐空间那个路线应该没有办法作为策略评估的模型，它可以作为 policy model，或者说 prediction model 类似的东西。它没有办法作为策略评估，因为策略评估一定要预测一个传感器信号，给到我们的 policy model，再预测之后的动作。所以它一定要是显式的，能够预测出，比如说对于一个 VLA 或者 World Action Model 而言，它就要显式预测出视频信号。
不管你是视频模型，还是 3D 模型，比如 3DGS，最后也要渲染成视频，给到后面进行使用。它最后一定要落到视频 sensor 上面，去给后面使用。
Q：那么现在问题就收敛到 video-based 和 3D-based 这两个版本的 World Model，它们作为策略评估各有什么优劣势。
A：首先说 3D。3D 的优势是它一致性应该是最高的。因为它本身已经是建立好的一个 3D 资产，你从什么方向看，它就是一个确定性的 3D 物理实体，存在你的硬盘里面。
但是它的问题是，我们去构建一个 3D 世界，其实是挺复杂的一个事。怎么去理解呢？比如说我现在要去评估一个机器人在家庭里，比如在厨房里面炒菜这样的一个场景。如果我用 3D-based World Model 去做这个事情的话，我就要用 3D 世界模型把这个家庭场景复刻出来。我需要给它看一下，家庭厨房里面每个东西长什么样，背景长什么样，前景长什么样。每个物体我都要抠出来给它过一遍。比如说每个前景物体我要过图生 3D，得到 3D 资产之后，我要把它摆放到合适的位置，赋予它合适的物理属性。所有东西调整完之后，我还要进行测试，把机械臂放进去进行测试，确保它一些物理属性，以及我整体 3D 还原的 mesh 是准确的。
它是一个显式的、module-based、pipeline-based 的方案。所有东西都是可解释的，这是它的优势。但是它的劣势是，很难 1:1 还原出真实场景，甚至不是 1:1，可能 1:0.6、1:0.7 还原出真实场景。这里面有大量需要人工介入去调整的地方。
这个我在 CVPR 期间，也和很多做 3D 方向、做数字孪生的人聊。他们都说，真正要把一个场景还原出来，在 3D 里面 involve 的人工成本其实非常非常多。现在这个还没有办法解决。虽然有一些所谓 agent-based 的方法去替代人工，但是目前就是没有办法去掉人工来做这个事。
所以简而言之，3D 这个方案只要想做，肯定是可以做的，但是它背后会有很多人工在里面去把这个场景搭出来。当我想再评估另外一个场景，比如我的卧室，那同样的 human labor 又要再上到我的卧室里面，再去搭那样一个场景。所以它会是一个比较人力劳动密集型的方案。
那么 video-based 的 World Model，它的好处和坏处其实恰恰好和 3D 相反。它的好处是什么呢？所有场景它不需要那么多人力进去搭建。我只要有那个场景的视频，几十条视频、上百条视频，我之前 teleoperate 采集的视频，它就可以直接用来训练我的 World Model，把这个场景还原出来。它不需要人工再去参与说，这个东西的前景我应该怎么雕刻成 mesh，然后赋予它物理属性，这些不需要了。它完全是一个 data-driven、model-driven 的事情。
但是它的坏处也很明显，它不是一个可解释的东西。比如说我的 3D-based World Model，它前面的一些物理属性、3D mesh，我都可以通过人工去检查，这个东西到底是否合理。不合理我再改，直到把它改合理为止。但是对于 video-based World Model 来说，它所有东西都是隐藏表达的，它没有一个特别显式的表达。
虽然我们现在做的一些方案，比如说我可以约束机械臂的一些物理属性，也可以约束机械臂存在的位置，用 pixel-aligned 的这种 condition 方式去约束它，但是它始终不是一个显式约束的，也不是一个所谓可解释的东西。
Q：所以它们是一个优势和劣势完全相反的方案？
A：我个人长期比较看好 video 的方案。因为如果说我们去对比三种评测方案，最传统的就是真机评测，第二种是 3D 评测，或者说仿真-based 的评测，第三种是 video-based 的评测。那么这三种慢慢衍生过来的话，model-based 和 data-driven 的含量，是 video 这一种最多。随着模型越来越强，数据越来越多，后面那个方案自然而然会比前面的所有方案都要好。前面更像是人力和财力密集型的一种方案，后面的话就是 data-driven 和 model-based 的方案。
Q：所以在评测和预训练上，世界模型会走向不同的技术方向吗？
A：是的。其实我们是把世界模型划分成了三种 application。
第一种就是数据引擎，就是造数据。第二种就是仿真平台，或者说 evaluator 平台，就是我们现在做的 GigaWorld-1。第三种就是 World Action Model，就是 World Model 直接去做动作，去做策略。其实对于它们三者而言，训练范式和下游用途是不一样的。
对于 data engine 和仿真平台而言，它们更多需要我预测出来的视频，它的物理一致性和几何一致性比较高，能够比较好地还原场景。它需要 pixel-level 的 fidelity，就是预测得非常精美，物理一致性高，3D 一致性高。
但对于 policy model 而言，对于 World Action Model 而言，它其实对 pixel 的要求没有那么高。它更多的要求是，如果我用视频 pretrain，我的视频预测这个 knowledge，能够比较好地 transfer 到 action prediction 上面去。它们的目标是完全不一样的。
Q：GigaWorld-1 里面，你们提到的一个重要设计，是解决长时间 rollout 的误差累积。为什么长时序一致性是现在世界模型最大的挑战？它算是一个比较大的挑战吗？
A：是一个比较大的挑战。因为 World Model as Evaluator 这件事情本身，不是像之前的 Seedance，或者说 Sora 那样，我生成一个十几秒的视频就完了。对于一个机器人操作任务而言，它可能涉及到 10 分钟，甚至有的慢的可能要数个小时才能把任务完成。
所以对于视频生成，或者说 World Model as Evaluator 而言，它需要能够不断往后 rollout。它可能不是说一次性要生成 10 分钟，但是我允许你一次性生成 10 秒，然后这 10 秒会给到下一次生成，再给到下一次生成。它要支持一直下去才行。因为只有这样一直下去，它才能够去评估那些特别长程的具身操作任务。
所以这是它的一个刚需。这个刚需反映到技术背后，就是我希望我的 World Model 能够有比较好的长时间 rollout，或者长时间生成的能力。
未来三五年，拼的是系统能力
Q：从 GigaWorld 团队的发展路线来看，以及你个人的研究成果，你怎么看 World Model 未来三五年内竞争的核心重点是什么？
A：我觉得这件事情背后的核心竞争力一定是系统能力。
如果现在把 World Model 看成一个模型本身，其实我的目标很简单，就两个。一个是让我的 World Model 能力保持第一梯队，另外一个目标是我希望我的 World Model 有盈利能力。两个方面的维度考量，这是我的目标。
围绕这个目标去做这件事情的话，它一定是从前面的数据端就开始进行优化，再到中间的模型训练、模型 infra、模型训练团队，甚至再到后面的 benchmark 团队。它一定要这些东西一起打通，并且有一个比较好的商业价值落地化目标去驱动它，才能让它长期处于第一梯队的状态。
简单来说，可能就是模型能力和商业化落地能力。它俩背后对应的一定是一个比较系统的、去优化 World Model 的全面技术栈，它不是一个单点的东西。
Q：那怎么定义第一梯队呢？
A：我觉得第一梯队的话，也是从两个方面去考量。
一个是模型。模型的话，如果从学术上考虑，就是你放出来的东西 citation 是多少，GitHub star 是多少，别人下载量是多少。甚至再不量化一点，就是你放出来这个模型，你的友商，或者一些实验室的学生、老师，能不能第一时间就知道这个工作？他知不知道是你们团队做的？
再往工业界去看的话，就是你的客户认不认可这个东西。比如说，他们有一些 World Model 方向的需求，他第一时间想到的是你还是别人？以及想到你之后，你拿下这个单子了，能不能比较好地达到客户需求？之后甚至客户在二期愿意为它买单。就像我们现在用 Anthropic 的模型，用 Codex 这样的模型，我们会不会持续愿意为之付费？
我觉得这些是比较好去量化模型能力和商业化能力的一些指标。它不是简单地看我在某个 benchmark 上达到第一了。这个其实也是我们做 GigaWorld-1，虽然做了 WMBench，但是我们在文章中也写明了，我们并不鼓励大家去刷这个 benchmark。因为它现在肯定不是一个完善的东西，我们希望把它作为一个工具。大家觉得有用的话，就拿它去迭代大家的 World Model、World Model as Evaluator。
并且我们也会持续更新这个 benchmark，给它上更多 task，以及上更多 robot data，能够让大家把它真正用起来。我觉得差不多是这样的一个情况。
Q：那你们有想过会有几家能跑出来吗？
A：我觉得在国内肯定不会只有一家。但是具体的友商名字我就不说了。我觉得我们肯定在里面，但是国内肯定不会只有一家。我觉得这个生态还是要维持住的，一家独大可能整个情况也不太好。对，差不多会是这样的情况。
Q：对你来说，除了你自己的研究成果以外，如果让你推荐一个今年你看到的比较好的论文，你会推荐什么？就是影响比较大的，或者对你比较有启发的。
A：一个是近期看到的不错的工作——Qwen RobotManip，就是千问去做 VLA 的那个工作。它写得非常细节，完全不是那种糊弄大家的宣传稿，包括一些实施细节、以及在做 benchmark 评测那一块都非常客观。之前具身这个圈子大家可能一直在刷榜，榜单就不公允了。他们在 paper 中也做了一个类似的事情，去评估这些榜单到底哪些是有效的、哪些是无效的，并且给出了一个 setting，去探讨怎么用这个榜单才能更好地反映出算法的真实能力。它更像是站在「基模该如何优化」的行业视角去写这篇文章，而不是单纯炫耀自己在某一个 benchmark 上达到了第几名。这个是我近期看过的、比较欣赏的一篇文章。
另一方面则是偏理论的。大概在 2025 年底或 2026 年初，我看了一篇名为《Much Ado About Noising: Dispelling the Myths of Generative Robotic Control》的文章。它从理论角度深刻剖析了当前 VLA 的主流范式——即 VLM 结合 Action Expert Flow Matching 的架构。要知道，从 OpenVLA 延续下来的传统路线并不是这样的。那么，行业为什么后来纷纷转向了这个新策略？这套策略在理论上究竟好在哪里？这篇文章非常详尽地结合了理论与实验，分析了它之所以能够 work 的底层逻辑。这种研究才真正具有沉淀价值，它能够被历史记住，并为整个具身智能行业的进步提供关键的理论指导。
总的来说，一类工作能够在理论贡献上把原理彻底解释清楚，另一类工作则在企业级实操中沉淀出极其详尽的 know-how 与经验。这两类文章，都是我个人非常推崇和喜欢的。