本文来自微信公众号： 海外独角兽 ，编译：Haozhen，作者：Ted Xiao
如果AGI和通用机器人都取得成功，一个物质丰富、全人类都能受益的世界，是否就会自然到来？
Ted Xiao（Prometheus创始技术成员、前Google DeepMind研究员）在Humanoid Hub Conference的演讲中，从这个假设出发，分析了新技术从构想到量产的过程：即使智能和劳动能力都变得充裕，哪些环节仍会拖慢研发和生产？又有哪些研究和商业机会值得提前投入？
在他看来：
•按Amdahl定律，如果一半时间花在无法加速的环节，其余工作再快，总耗时也最多减半。
•Verification决定模型post-training的上限。
•如果verifier有漏洞，模型可能学会利用漏洞拿高分，实际表现不一定变好。
•Verifier也要接受检验，遇到历史数据没覆盖的新设计，仍要用实测结果检验它的判断。
•开发团队要到现场弄清什么算合格，据此设计verifier，再用有限的实测检验和改进它。
我们编译了Ted Xiao的这场演讲。他谈到的verification瓶颈，也正是我们看好AI for Science、机器人和硬件制造的原因之一。随着AI能力的增强，虽然模型可以更快地提出方案，但要知道方案能不能用，往往还得做真实的实验和工程测试，而模型变强很难直接加快这些测试。
/
01.
AGI和通用机器人都实现后，还缺什么？
现在的研究与投资，大致集中在两个方向：一端是比特（Bits），另一端是原子（Atoms）。在硅谷甚至全球都能看到这个趋势，这两个方向的技术进展也很快。
•Bits端是AGI支持者，希望在数据中心里建起一个“天才之国”，先造出AGI，再让AGI解决其他问题。
•Atom端关注robot learning、与物体接触时的灵巧操作，以及通用机器人的普及。
如果假设AGI和通用机器人都能成功，那么为post-AGI社会做准备时，还需要考虑它们之间缺少什么：数字超级智能（digital superintelligence）怎样才能真正改善生活质量，让人们拥有更丰富的物质生活？
要回答这个问题，可以先看今天的物质生活是怎样改善的。
技术进步一直在创造财富、推动社会繁荣、改善人的生活，其中很重要的一部分，就是发明新的物理世界技术（physical technology），并把它们真正做出来。我们今天享受的舒适生活，正是世界各地数百万工程师、科学家、设计师，以及白领和蓝领工人世世代代工作的成果。
具体来说，把一项构想做成能够大规模生产和使用的产品，需要设计、工程开发、原型制作、投产前测试与认证、生产、逐步提高产量和扩大生产规模等环节。
判断AGI和机器人之间还缺什么，也需要把它们放进这套具体的工作流程中。但这条链条涉及设计、分析等脑力工作，实际操作中的体力劳动，以及资本投入，到底哪些能交给AGI，哪些能交给通用具身智能（embodied intelligence），哪些还需要其他办法解决？
根据Ted Xiao的分类，下图中蓝色的部分是抽象、数字化的工作，仅在数字环境中工作的AI模型已经表现出处理这类工作的能力。粉色的部分涉及接触物体和灵巧操作，是通用机器人可以承担的工作。
但即使数字AGI和机器人的灵巧性都达到很高水平，工程链条上仍有大量工作无法直接交给它们。无论是看GDP、劳动份额、行业利润率，还是不同领域的岗位数量，都能发现这一点。即使只是粗略列出这些工作，也会发现：获得人类级的操作能力，并不意味着其余工程问题会自动解决。
02.
Amdahl's Law：还没有加速的环节决定整体加速上限
要让所有人都能享有今天一部分人已经拥有的丰富物质生活，要提高每个人的生活质量，就必须逐一解决这条链条上的问题。不能只加速其中一端，就假设其余环节会自动跟上。
这些还没能解决的环节，会影响一项技术或产品完成研发、验证并实现规模化生产的速度。就像Amdahl’s law指出的那样，一个程序即使有大量操作可以并行执行，整体速度仍然受制于那些必须按顺序完成、无法同时进行的操作，创新和发明也有类似的限制。
如上图所示，假设p表示可加速环节原本占总耗时的比例，s表示这部分工作的加速倍数。我们已经看到，一些环节的s非常大后，所需时间大幅缩短，但无论局部快了多少倍，整体提速的上限仍取决于p，也就是这些环节原本占用了多少时间。
图中的灰色、橙色和蓝色曲线，分别对应不同的可加速比例。假设能够加速的工作占原有总耗时的50%，（这已经比前面工程链条里展示的覆盖范围更广），即使这部分工作变得无限快，整个过程的总耗时最多也只能缩短一半，也就是整体速度变为原来的两倍。
当p接近99%、99.9%，甚至更高时，研发、反复改进并投入使用所需的总时间，才可能缩短到原来的十分之一、百分之一，甚至更少。
局部加速越快，还没有被加速的部分就越容易成为整个研发和生产过程的瓶颈。
事实上，许多工作所需的时间很难进一步压缩，背后的限制主要来自两个方面：
一类限制来自测试本身需要的时间。
•测试快充电池时，需要进行负载测试和充放电循环测试，整个过程往往超过一年半。
•药物研发从最初的构想、研究和报告，到三期临床试验，有时需要十年以上。考虑到人体对照试验必须评估药物的安全性、疗效和副作用，这些实验所需的时间是无法省去的。
•即使经过漫长的测试，实验的结果仍可能不稳定，难以重复得到。美国生物技术公司安进（Amgen）的研究团队曾尝试复现53项有影响力的癌症临床前研究，最终仅成功复现6项，约占11%。因此，即使是已经发表、看起来很有价值的研究，也不一定能提供稳定可靠的反馈。
另一个问题是，工程知识分散在不同企业、系统和岗位中。要加快更多环节，首先需要了解这些工作是怎么做的。但这其中有些诀窍属于企业的知识产权，有些留在从业者的经验里，很难直接获得。
值得关注的是，软件开发在这方面其实是比较特殊的：代码和版本历史可以完整保存，程序是否按预期运行，也常有明确的规则和工具可供检查。实体经济同样积累了大量工程知识，但打开GitHub，我们找不到一套完整的资料，告诉我们人类是怎样建造今天这个世界的。
03.
Verification决定模型post-training的上限
要进一步判断哪些环节还能加速，可以先看verification需要多长时间。前面的电池和药物研发例子都涉及同一个问题：我们要等多久，才能获得可信的结果，来指导下一轮实验？
在这个问题下，不同任务的答案差别很大，短则几毫秒，长则数十年。
•有些结果可以用模型或仿真检验，投入更多算力往往就能更快拿到反馈。因此增加GPU、CPU和资金，在这类任务中是有用的。这种情况下，虽然实现起来可能仍然很困难，但我们至少知道可以从哪里着手加速。物理仿真、用Lean检查形式化数学证明、代码单元测试，以及部分设计任务，都属于这类可以靠算力加速的工作。
•但有些结果必须靠实测来检验。到了这个阶段，验证可能就需要数小时，甚至数年。
验证所需的时间之所以重要，是因为模型需要依据验证结果继续学习。frontier model研究中的经验是，只要能明确、可靠地判断结果是否符合要求，就可以用这些判断作为奖励，通过RLVR（基于可验证奖励的强化学习）训练模型，提高它在相应任务上的表现。
Microsoft AI曾把自己的模型称作一台“爬山机器”，这个比喻其实很贴切：只要能可靠判断结果是否达标，模型就能朝着目标持续优化。
因此，verification决定了frontier model在post-training阶段能达到的水平，数学、coding等领域都体现了这一点。
不过，研究者用来训练模型的奖励和验证结果，本身也可能有问题：负责检查结果、给出反馈的程序或模型，也就是这里所说的verifier，如果它有漏洞，模型就可能利用漏洞取得更高分数。训练越充分，这些缺陷的影响也可能越大。
04.
机器人训练：依靠仿真，还是依靠真实数据？
在物理世界中，能否获得快速、可靠的反馈，同样会影响研究方法。
机器人训练就是一个例子：过去十年，运动控制、全身控制和操作任务形成了不同的研究路线，获取训练反馈和评估结果的方式也很不一样。
•一类是sim-to-real，通过物理仿真和基于模型的学习获得快速反馈。
•另一类主要使用在真实环境中采集的人类示范数据：先利用这些示范训练模型，再用真机评测策略的表现，不依靠仿真等方法获取反馈。
以运动控制为例，现在拿一台Unitree G1，下载GitHub上的代码，用一张GPU和一个很小的MLP网络，训练15分钟就能看到效果。训练完全在仿真中进行，用GPU优化的物理仿真环境，可以并行模拟数千乃至数百万次机器人执行动作的过程，不需要先采集人形机器人的真实数据，也不需要通过遥操作教它走路。
MLP（Multi-Layer Perceptron，多层感知机）：一种基础的神经网络，由多层相互连接的神经元组成。这里用于根据机器人的状态计算相应的控制动作。
训练出的控制策略（policy），也就是决定机器人如何行动的模型，可以直接用于操作真实机器人，让它完成走路、后空翻等动作，甚至更敏捷的运动和全身控制。这种效果在几年前还很难想象。
相比之下，机器人操作研究在过去十年里主要专注于大规模真实世界数据采集，而这些数据几乎都依赖人类的专业技能和示范。无论是第一视角数据（egocentric data）、机器人遥操作（teleoperation），还是数据手套、UMI等设备，研究者都在利用这些方式扩大离线专家示范数据集（offline expert datasets），让机器人学会完成实际任务中需要灵巧性的操作。
Physical Intelligence、Generalist、Dyna和Google DeepMind等团队，训练好模型后，还需要在实验室做真机A/B评测，往往要花数百小时，才能发布一个新模型。
比如，Google在发表RT-1、RT-2论文时，就曾投入数十名外包人员、数十台机器人和数百小时人工劳动，才能比较两个checkpoint哪个更好。
因为真机反馈来得慢，研究团队很难在每次更新模型后，都用新版本采到足够的数据。Ted Xiao建议按训练用途选数据，比如预训练可以用过去采集的示范，只要示范接近理想表现；但采集纠错数据时，则应尽量让当前版本先执行任务，记录它在哪一步需要干预，以及纠正后的动作。
但人已经掌握的许多操作技能，还没有被记录成机器人能学的数据。实体经济（physical world and physical economy）也面临类似的问题。
•在机器人领域，人类在进化中掌握了大量身体技能，研究者需要采集人运用这些技能的过程，让机器人从中学习。目前，这类数据的规模还远远不能与互联网相比。因此，采集这些数据，并开发能够从有限数据中学习、又能随着数据增多而扩展的算法，一直是大家追求的目标。
•实体经济中也积累了大量这样的知识和数据，否则我们不可能建成今天的社会。但这些资料还没有被系统地记录、存储和整理，无法像维基百科或Reddit上的内容那样直接取用。
更重要的是，在实体经济中，人类并没有穷尽所有可能发明的技术，工程创新仍然需要持续迭代。相比之下，对于许多我们希望机器人掌握的灵巧操作，人类已有的能力就可以作为标杆，当然，也有需要超越人类能力的操作和一些特殊的工业场景。
因此，如果有人造出一台机器人，能在各种任务上达到人类水平，这已经是巨大的成功，但如果一套工程系统只能帮助人类重新发明20世纪50年代中期的技术，它的价值就很有限。
所以，工程创新既需要获取已有数据，也需要继续推进技术。我们要了解当前的技术水平、最优秀的团队如何工作，也要了解一个新想法怎样经过设计、实验和工程流程变成现实，以及这些过程还能怎样改进。
05.
工程研发：计算提速之后，还要等待实验
进一步看，工程测试也可以按反馈速度排列：手工计算、软件分析和自动化检查通常能较快给出结果；而涉及真实设备、材料和环境的试验，则可能耗时数周、数月、数年，甚至数十年。
测试还受资源和次数限制，比如F1车队每年设计新赛车时，风洞试验次数和CFD仿真算力都受到规则约束。这些测试和仿真配额也是车队研发竞争的一部分。
除了测试资源有限，通过计算或仿真进行验证的适用范围也是一个问题。同一项设计，可能通过了下图蓝色部分的计算或仿真检查，却在橙色部分的真实测试中暴露出问题。这些验证方法在什么情况下可靠，又在什么情况下无法反映真实表现，是工程实践中需要厘清的问题。
Ted Xiao表示，Anthropic、OpenAI、Gemini等团队已经开始针对一些数字化设计和工程任务训练模型。在这些能够快速、低成本地检查结果的任务上，模型的表现已经有了明显改善。这些团队展示的工程设计demo，也让Ted Xiao印象很深。
但把这些设计放进实际生产的工程流程，结果就不一定合格，有时甚至连工程师进行的基础检查都无法通过。因此，至少目前看来，仅靠计算或仿真检查给出的反馈来训练，似乎还不足以让模型直接满足实际工程的要求。
这种情况也不限于CAD。许多领域都一样：能够用计算替代实测的部分，进展很快，但仍然必须等待真实测试结果的部分，还是很难同步加速。
自动化实验室正在尝试改善这些实测环节。Periodic Labs、OpenAI、Anthropic等团队正在材料科学、药物发现等领域探索如何利用真实实验的反馈，其中也包括实际操作样本、试剂的湿实验。他们既在提高实验效率，也尝试让模型判读实验结果或检查实验方案。
比如Periodic Labs就公布过一项进展：他们的自动化实验室，每天可以完成大约100次涉及X射线衍射的真实实验，新实验室可能把这个数字提高到每天1000次。但即便如此，这个规模仍远小于coding模型训练和人形机器人仿真训练中可以进行的数百万次尝试。
因此，Periodic Labs还尝试训练一个LLM judge，让LLM判读X射线衍射图谱。它与博士专家的判断一致率达到了77%。他们希望用真实实验的反馈改进LLM judge，再让judge提供奖励分数，用来训练模型。
不过，这类方法在不同团队中的效果并不一致。相比coding、工程计算和数学领域，自动化实验室的进展更容易出现停顿或反复，许多环节依然需要等待真实实验。
Anthropic关于蛋白质结合体和CRISPR的研究也显示了这种限制：科学家与Anthropic的内部模型合作，在计算机中反复提出、检验实验设计，再把选出的实验交给人工操作的湿实验室执行。在科学家与模型的协作下，更多实验设计和初步检验得以在计算机中完成，原本需要数月或数周的工作，现在只需数周或数天。但人工执行的湿实验仍然需要数周，设计和分析的提速并没有缩短实验本身的等待时间。
总的来说，实验可以同时开展，但后一轮实验如果要根据前一轮的结果来设计，就必须等前一轮结束。即使一次并行做了更多实验，也只是让这一轮获得更多信息，研究者仍然需要看到结果，才能据此提出新的假设、安排下一轮实验。因此，并行实验能增加每一轮的探索量，却无法消除轮次之间的等待。
06.
用模型替代实测有哪些局限？
为了缩短验证所需的时间，许多领域都在尝试用计算替代一部分真实测试。原本耗时长、操作繁琐、结果容易受干扰且成本高的测量，如果能通过模型或仿真可靠地完成，就有机会借助更多算力加快验证。对于仍然必须进行的真实测试，我们则需要提高测试效率，或者设法避免每一轮设计迭代都要等待实测结果。
如果沿用Periodic Labs的思路，我们可以设计一个价值函数（value function），也就是训练一个能够根据真实反馈评估方案的critic。如果模型足够可靠，就可以用低成本的计算替代一部分昂贵的实测。
但这里有一个问题：verifier是用历史数据训练的，它可能只在这些有数据覆盖的任务和条件下可靠。但我们往往要检验的是此前没有见过的新设计。
虽然模型确实可能学会处理训练中没有见过的情况，比如AlphaGo Zero，但围棋可以依据规则判定结果，不必为每次验证付出高昂的真实实验成本。物理世界没有这样的条件：蛋白质怎样折叠、结合，新材料和晶体能否被发现、合成，最终都要接受自然规律的检验。而我们训练verifier、奖励函数和价值函数时，能够使用的真实观测很有限。
模型也许能处理一部分新情况，但这种能力是有边界的。新设计与历史数据中的情况差别越大，就越难获得可靠、有用的反馈。
因此，沿着已有路线重新完成一次发明或设计，模型可能快得多，但要超越已有成果，难度仍然很大。学习价值函数值得尝试，但不一定能直接解决探索未知的问题。
07.
接下来该如何改进验证？
Ted Xiao结合自身在robot learning、frontier model研究中的经历，以及同行的进展，他认为，接下来最重要的问题，就是建立既可信、又能扩大验证规模的方法，并确认它在实际使用条件和新一轮研发任务中仍然可靠。
左右滑动查看更多图表
回到最初的假设，首先，AGI提供的智能和机器人提供的劳动能力，都是实现物质丰富的必要条件。但即使未来两者都成功了，工程与发明中剩下的问题也不会自动消失。
第二，能可靠验证的方向，往往更容易取得进展。验证方法可信，而且能大规模使用，我们就可以依据反馈继续学习和开发技术，逐步接近这些任务中的能力上限。
最后，评测指标必须反映我们实际想要的结果。分数提高了，模型在现实中的表现是否也会改善？把AI模型、机器人和工程流程结合起来后，整个系统是否完成了预期的工作？这些都需要直接测量。
三个研究方向
具体到研究，Ted Xiao认为有三件事值得做。
第一是建立更多verifier，也包括大家常说的RL环境。现在很多团队希望增加训练环境，再投入更多算力做RL。但除了增加数量和覆盖范围，我们也需要深入一个领域，了解其中的工作如何进行、实际应用要求达到什么标准，不能只看学术benchmark。
第二是检验verifier是否可信。我们需要到模型实际工作的环境中，了解它会遇到哪些任务和操作条件，再检查verifier在这些情况下的判断是否可靠。
第三是安排好真实测试。verifier和完整系统最终都要接受现实检验，而这些测试成本高、耗时长，需要大量资本投入，能做的次数有限，有些等待时间也无法压缩。因此，能可靠模拟的部分，可以用合成数据补充训练；必须实测时，先明确要验证什么，再优先做那些结果最能指导下一轮设计或训练的实验，让每次结果都尽可能有助于改进verifier和技术。
实际推进需要怎么做？
过去一年半，Ted Xiao也一直在考虑具体该怎么做。
•对于最后阶段那些成本高、次数有限的实测，可以增加资本投入，争取更多实验资源，通过更广泛的合作扩大测试规模。
•但离线数据稀少而且分散，因此部署就非常重要：Ted Xiao认为，与数字世界不同，OpenAI可以先在实验室里用互联网数据训练模型多年，再推出ChatGPT，但物理世界中的现成数据却稀少、分散，我们需要把系统用于实际工作，持续收集数据、改进verifier和模型，也在使用过程中理解究竟要解决什么问题。
以金属切削为例，Ted Xiao建议做软件的团队先去现场，看看操作者怎么完成工序，听他们说哪里容易出问题，再用双方都能理解的话把问题说清楚。
•做这些工作也需要专注。机会很多，研究者和创业者很容易同时追逐多个方向，但只改进某一个环节，还不足以大幅缩短一项技术研发和投产的总时间。局部成果可能带来财富、声誉和研究影响力，却不一定能让整个过程按同样幅度加快。
•最终要看的是：实体经济的产出有没有提高，新技术的研发和投产有没有加快，工业产量有没有增加。几项benchmark的高分，或者社交媒体上的关注，都不能替代这些实际结果。