马斯克“掀桌子”,AI大模型+自动驾驶会诞生什么?
2024-05-23 14:58

马斯克“掀桌子”,AI大模型+自动驾驶会诞生什么?

本文来自微信公众号:经纬创投 (ID:matrixpartnerschina),作者:经纬创投主页君,题图来自:视觉中国

文章摘要
本文介绍了特斯拉全自动驾驶FSD V12新版本的颠覆性变化,采用了端到端的AI大模型,取代了以往的Rule-base方案。

• 💡 V12版本使用端到端的AI大模型,通过学习人类驾驶员的训练素材实现路径规划

• 🚗 V12版本不再需要人工编写大量代码,转向纯视觉方案,大幅简化了驾驶系统

• 🌟 纯视觉方案的端到端模式具有通识能力,更接近人类司机,并且与座舱联动,提升用户体验

能用最简单的方法,做最复杂的事,才是真正的技术壁垒。


特斯拉的全自动驾驶FSD(Full-Self Driving)V12新版本,很好诠释了这一点。仅需8个摄像头,无需用上激光雷达、毫米波雷达、超声波摄像头等等其他零部件,就实现了老司机一般的驾驶能力。


对于什么是老司机的驾驶能力,我们想先通过一个短视频来体现:在纽约交通最乱的第五大道拍摄,FSD可以根据地理位置意识到自己在哪里,从而切换驾驶风格,在西部就佛系跟车,在纽约就一步不让,这是端到端训练时自动学会的。



视频来源:YouTube:Jackson在美国


马斯克甚至颠覆了自己,V12新版本比V11有极大变化,很多V11中采取的技术也被一并抛弃(即便这些技术可能是领先的)。一个对V12最简单的理解是:V11之前都需要告诉FSD遇到红灯需要停,但V12不再需要,而是依靠V12自己学习,自己“悟”出来。


于是,原本由人工编写的30万行代码,如今骤减到3000行,取而代之的是类似大语言模型的训练芯片矩阵(由上万颗英伟达H100级芯片组成),全靠AI神经网络训练解决。可以说V11还是手工作坊式的生产方式,V12已经开启了“工业革命”。


今天这篇文章,我们就来分析一下FSD V12版本背后有哪些颠覆性变化?以及与其他技术路线相比,FSD V12这种纯视觉方案,有哪些优劣势?Enjoy:


一、V12新版本背后,最重要的颠覆性变化是什么?


V12最大的变化,在于部署了“端到端”的AI大模型。这里面有两大关键点,一个是端到端,一个是AI大模型。


“端到端”是指,一端指输入端,一端指输出端,输入数据的包括摄像头的感知数据、车身的数据等等,中间通过Transformer架构的AI大模型推演之后,最终直接输出到电门、刹车、方向盘。


而通过Transformer架构的AI大模型,是在2022年底,特斯拉Autopilot部门的一位工程师向马斯克提出的建议,要借鉴ChatGPT,让神经网络通过学习人类驾驶员的训练素材,来实现路径规划。


马斯克听后大喜,拍板就这么干。由此开始,FSD的规划部分,就直接放弃了原来普遍采用的Rule-base(通过人为定义的规则)方案,全面转向神经网络。


在这里我们简短解释一下什么是Rule-base方案:Rule-base就是人为规定的规则式驱动。原来自动驾驶分为几个步骤,分别是感知、规划、控制,先有摄像头、激光雷达、毫米波雷达等等传感器获取信息,然后基于感知结果和人为设定的规则,由自动驾驶软件代码来实现决策。


所以这里面很重要的是,一是怎么获取到足够多维和准确的信息,所以大家都往车上装各种摄像头、雷达;二是决策中,由人为设定的规则需要覆盖所有情况。这些代码的逻辑基本是,如果遇到某种特定情况,算法就会查询代码中预先编写好的应对方案,比如遇到红灯需要停车、直行车道不能转弯等等。


但是日常出现的驾驶情况太多了,并且还会有不常见的边角情况(corner case)出现,它们往往非常危险,因为在算法库里,可能没有编好这种情况下的应对方案。此外,在100种不同的驾驶场景中,你可能需要100种不同的踩刹车和加速的方法,才能达到平滑的驾驶效果,否则就很容易晕车。显然,要想让系统在所有情况下都像人类驾驶那样流畅,这是人类工程师哪怕日以继夜地编写代码,也难以实现的。


特斯拉在以往的方法下,已经是市场领先。特斯拉在感知层面,采用了一个叫做九头蛇(HydraNet)的系统来进行物体识别。HydraNet首先通过八个摄像头的图像输入,进入到后端的一个基干网络(backbone),每一个任务都由一个专门的头(Head)来负责,比如进行物体检测、红绿灯识别、车道预测等等,特斯拉一共设计了50个Head,对各种任务的分类很细。


而在规划部分,特斯拉采用的是类似谷歌AlphaGo下围棋的方法(蒙特卡洛树搜索,加神经网络辅助),快速穷尽所有可能性,并计算出其中胜率最高的一条路径。围棋要遵守棋规,FSD要遵守交通规则,这其中就是大量人为定义的规则。简单来说,就是根据预设规则,在所有可能的驾驶轨迹中,计算出一个不会和任何物体碰撞并且不违反交规的最优解。


V12出来掀了桌子,把之前很多技术都丢进了垃圾桶。V12不再需要通过代码写好“遇到红灯需要停下”,而是通过让AI观看大量人类驾驶员的驾驶视频,让AI自己找出成千上万条规律,遇到红绿灯、减速、刹车这是AI自己学会的,是自己“悟”出来的。正是因为这样的一个转变,原来负责这一块的30万行C++代码,如今变成了3000行。这也是为什么V12版本中,FSD的驾驶表现非常拟人化。


从更底层的角度来说,V12“看”的是像素点。V12不需要先识别画面中的东西是什么、再到决策部门根据这个感知结果做判断,而看的是画面中的最小单位像素点,V12把画面上像素点的位置、组成的形状以及运行的规律,直接输入到神经网络中,通过数以亿计的真实视频来学习经验,把现在输入的像素点,与之前学习时遇到的像素位置进行对比,而这些学习的视频,就是真实人类司机的驾驶反应。然后直接输出一个结果,就是执行所需要的刹车、电门、方向盘。


以往视觉方案中的劣势,比如异形障碍物识别失败的问题,现在几乎不存在了,只要能拍到这个物体,让它出现在画面里,它就会成为画面中的一堆像素点,V12只需要这些像素点就够了,所以V12所代表的AI方案被称为“纯视觉的最终解决方案”。


当然,那如果训练所用的视频数据本身是鲁莽驾驶,那是不是训练出来的AI驾驶员就会非常危险?答案确实是,特斯拉的解决办法是开辟汽车保险业务。


比如在美国,特斯拉通过北美的保险业务,延伸出了一套驾驶员行为评分系统,它会对人类驾驶员的驾驶行为严格打分。特斯拉用于训练FSD的数据,全部来自于90分以上的驾驶员,可以说是对数据的要求极为苛刻。


当然,V12跟ChatGPT这样的大模型很像,都是一个“黑盒模型”,它们需要通过足够多的数据训练,才能涌现出一些惊人的能力,并且设计它的工程师也不知道,为什么会涌现出这些能力。


这也是为何FSD需要超过60亿英里的验证里程,只有推理得够多,才能知道如何对模型进行微调和优化,在自动驾驶领域重现大语言模型中Scaling law的情况,实现指数级的能力增长。如马斯克所言:当你有100万个视频片段,勉强够用;200万个,稍好一些;300万个,就会感觉哇塞;1000万个,将变得难以置信。


那么,特斯拉的追赶者能追上吗?这背后需要的是极其庞大的算力。“现在来看,自动驾驶超越人类驾驶就只是时间上的问题。”马斯克说。在今年一季度,特斯拉把总算力又提高了,等同于3.5万块英伟达H100的算力,到年底还要翻倍达到8.5万块算力规模,这令特斯拉成为美国拥有第一流算力规模的科技公司,与微软、Meta相当。


二、纯视觉方案,有哪些优劣势?


目前自动驾驶领域,主要分为纯视觉和激光雷达两个方案。如今纯视觉通过结合AI,实现了端到端,有了突飞猛进的变化。在激光雷达方案里,还是依靠Rule-base的方法,通过激光雷达、毫米波雷达、超声波摄像头这些复杂的组合方案,现阶段其实也有不错的表现。那么纯视觉+AI和Rule-base+激光雷达相比,有何优劣?


一言以蔽之,纯视觉(+AI大模型)的劣势是起步慢,但成长性更强。原来的Rule-base在初期能力增长快,但后期空间严重不足,两者存在一个交点。


Rule-base也可以通过不断修改来进行迭代。一旦发现问题之后,就可以找到对应的代码,一般都是if-else语句,if在什么情况下发生,否则else怎么样,这是规则式的核心逻辑。这时候只要修改某个if-else语句的参数量,或者解出错误的行数,把问题修复就解决了。这里面不需要喂大量的数据,直接把修复代码放在车上重新部署即可。


在到达两者的交点之前,意味着Rule-base算法优于大模型。这是大模型的特点导致的,当数据量不够的时候,相比于规则式算法稳定性不够。这也是Rule-base的核心优势,它的解释性比较强,规则非常明确,当把代码部署到车上之后,会具备最基本的能力表现,能让车实现基本的ACC、LCC辅助驾驶功能。但大模型不行,在没有经过足够的数据训练之前,产品是非常弱的。


但在两者的交点之后,纯视觉的端到端模式,则更像是面向未来的终极方案。由于AI大模型具有通识能力,它能够理解以前没有看到过的东西。


比如说,某一次从前面的车上掉下来了一个塑料袋,另一次则掉出来了一个啤酒箱,但是在我们的训练数据集里,从来没有出现过这两种情况。作为人类司机,我们知道塑料袋是软的,不需要规避,但啤酒箱是硬的,需要规避。如果没有大模型,自动驾驶系统就相当于一直生活在车上,它只能解决曾经在这个车上看到的场景。但是真正的人类驾驶员肯定不只生活在车上,他还生活在整个世界里,而大模型有通识能力,它能识别出塑料袋和啤酒箱的区别,它更接近人类,能应对各种场景,更何况它还有8颗摄像头。


此外,从硬件角度来说,纯视觉的端到端模式完胜,因为只需要8颗摄像头,未来最多是不断升级像素,这能极大降低整车成本。而且基本无需担心硬件迭代,所带来的技术断层问题。


如果展望未来,从用户体验角度来说,大模型更能和座舱联动。未来的自动驾驶AI,可能就会和真正有一位司机在开车一样,你可以跟它聊天:比如“刚刚路过的湖叫什么?”,或者给它下达命令,比如“现在靠边停车”或者“我们不太舒服你开稳一点”等等,这是迈向L4级自动驾驶的重要一步,也是提升自动驾驶体验很关键的一点。


当然,虽然说V12的端到端确实是颠覆性的进步,但我们离真正的完全自动驾驶还有一条明确红线,就是——责任在人类驾驶员还是在汽车系统身上,无论从技术、安全还是产品责任的角度来看,这都是一条最重要的分界线。目前,虽然有这么多进步,但我们还处于L2以下,我们可能需要足够多的安全数据,来证明自动驾驶的事故率小于人类,才有可能真正跨越这条红线。


References:

1.Morgan Stanley:Tesla Inc Tesla and Nvidia The Journey to AI Supremacy

2.华泰证券:特斯拉(TSLA.US)如何理解特斯拉的当下与未来?

3.中信证券:特斯拉FSD,2023突围之年

4.西南证券:从特斯拉FSD看人工智能

5.WSJ:Elon Musk Pushes to Increase Use of‘Full Self-Driving’Software as Tesla Sales Cool


本文来自微信公众号:经纬创投 (ID:matrixpartnerschina),作者:经纬创投主页君

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP