为什么特斯拉的自动驾驶总是很好骗?
2020-10-12 15:01

为什么特斯拉的自动驾驶总是很好骗?

本文来自微信公众号:机器之心(ID:almosthuman2014),作者:蛋酱、张倩,题图来自:视觉中国



特斯拉的 Autopilot 系统有多好骗?人类永远不会认为,树上的投影和户外广告中的标志是真实的,可惜特斯拉没这么聪明。



片头先播放一段广告(没收钱)



‍这段广告来自麦当劳,但有人在上面“动了手脚”:除了汉堡和薯条,还有一个“STOP”交通标志一闪而过。


虽然这个标志只出现了 0.5 秒,但却足以误导一辆特斯拉最新的自动辅助驾驶系统,使其下达停车命令:


路边的电子广告牌正在播放上述广告,一辆特斯拉从旁边经过时受到了广告中一闪而过的停车标志误导,将车停下


这种针对自动驾驶汽车的对抗攻击也不是什么新鲜事,但在以往的研究中,人们大多关注“有哪些东西是自动驾驶系统看不到的”。而这项实验的不同之处在于,研究者关注的是“有哪些东西是人类驾驶员不会留意,但自动驾驶系统会注意的”,比如上文中一闪而过的停车标志。


以色列本·古里安大学的研究者已经花了两年的时间来研究这个问题。此前,他们曾透露,特斯拉的辅助驾驶系统会被路上一闪而过的投影所误导,将这些投影看成路标或斑马线,从而在毫无预警的情况下将车停下。


在今年初的一项实验中,研究人员分别在道路、树木等物体上投射了人影、路标、道路标志线等误导性投影,结果搭载 HW2.5 Autopilot 的 Tesla Model X 全部中招。


特斯拉 Autopilot 将投影在路上的虚拟人当成真人,下达刹车命令


特斯拉 Autopilot 眼中的虚拟人投影


特斯拉 Autopilot 在地面标志线投影的误导下突然变道


在上述研究的基础上,研究人员继续改进实验。一项新的研究发现,在一个电子广告牌中嵌入几帧的路标也能达到相同的效果。


他们提醒说,如果黑客入侵了联网的广告牌,他们就能利用这一漏洞制造交通拥堵或事故,而且几乎不留下证据。这篇论文已被 2020 年第 27 届 ACM 计算机和通信安全(CCS)会议收录。


论文地址:https://www.nassiben.com/phantoms


研究人员发现,一张只出现 0.42 秒的图像就能成功欺骗特斯拉,而一个只出现了八分之一秒的标志骗过了以色列高级驾驶辅助系统——Mobileye。


将一个限速标志嵌入上述广告,时长为 125ms


向一个安装了 Mobileye 设备的汽车展示潜入了限速标志的广告牌,汽车被成功欺骗


为什么自动驾驶总是很好骗?


当然,本·古里安大学的研究者,不是第一批向特斯拉自动辅助驾驶系统发起挑战的人。早在 2016 年,南卡罗来纳大学和浙江大学等机构的研究者就曾经利用无线电、发光设备等成功地“愚弄”了特斯拉的自动辅助驾驶系统。


近日,还有一个中国团队发现,针对特斯拉的车道跟踪技术,只需要在道路上贴上贴纸,就能诱导特斯拉改变车道。


本·古里安大学研究者在这项研究中采用的是与二者不同的方法——至少不是物理方法。正如很多黑客此前所证明的一样,袭击者可以远程侵入联网的广告牌。团队推测这种“幻影攻击”会以勒索或者恶作剧等形式发生,论文第一作者 Ben Nassi 指出:“以前的方法会留下证据,需要复杂的准备工作。而这种方法完全可以远程进行,不需要任何专业知识。”


攻击模型


这种攻击有以下特点:


  • 无需物理接近攻击现场;

  • 不会留下任何可识别的物理证据;

  • 攻击过程很短暂,几乎没有目击证人;

  • 攻击的目标不太可能试图阻止攻击(通过控制车辆),因为他 / 她不会注意到任何异常情况。


面对这项研究结论,特斯拉尚未置评,但在上周的一封邮件中,特斯拉提到了一个熟悉的论点:它的 Autopilot 功能并不意味着是一个完全自动驾驶的系统。“Autopilot 提供了一种驾驶员辅助功能,仅适用于全神贯注的驾驶员,他们把手放在方向盘上,准备随时接管。”


但研究人员 Yisroel Mirsky 不赞同这一说法:“众所周知,人们在使用自动辅助驾驶系统时,不会始终保持100%的注意力。因此,无论特斯拉如何表示,我们都必须努力减少这种威胁,以确保人们的安全。”


特斯拉的 Autopilot 系统主要依靠相机,而不那么依靠雷达。而更加完备的自动驾驶汽车(比如 Waymo、Uber、Cruise)还集成了激光雷达,从而减少了受此类攻击的可能性,因为激光雷达不在乎广告牌上内容的变化。


对策:GhostBuster 系统 


本·古里安大学的研究者并未测试针对更多传感器设置的攻击, 但他们演示了在基于摄像头的平台上检测到幻影的方法。研究者开发了一个名为 Ghostbusters 的系统,用于验证车载目标检测器检测到的物体,该系统的设计考虑了诸如深度、光线以及交通标志周围的环境感知等要素,并权衡所有这些要素,然后再确定道路标志图像是否真实。


打个比方,Ghostbusters 就像是一个专家委员会集思广益,来讨论出现的“影像”是真实存在的还是虚幻的,从而进行集体决策。在研究者看来,这种方法可以更加可靠地战胜“幻影攻击”,同时也不会降低基于摄像头的自动驾驶系统的速度。


GhostBuster 可以部署在现有的高级驾驶辅助系统上,无需额外的传感器,并且不需要对现有的道路基础设施进行任何更改。GhostBuster 由四个轻量级深度 CNN 组成,通过检查目标物体的反射光、环境、表面和深度来评估其真实性。在最终预测中,第五个模型使用四个模型的嵌入来识别“幻影”。


GhostBuster 架构图


实验表明,这一对策优于现有的基准方法。FPR 设置为 0 的条件下,AUC 超过 0.99,TPR 为 0.994。该模型应用于七种最新的路标检测器时,攻击成功率从未使用时的 99.7%~81.2% 降到了 0.01%。目前,研究者已经开放了训练后的模型、代码以及数据集。


项目地址:https://github.com/ymirsky/GhostBusters


本·古里安大学的 Nassi 承认,Ghostbuster 系统并不完美(GitHub 页面详细介绍了局限性),但他仍然认为即使特斯拉的自动辅助驾驶系统存在雷达、摄像头等多种传感器,黑客攻击生成的图像仍会让汽车出现判断问题。


作为车企,特斯拉自动辅助驾驶系统的原则是“better safe than sorry”,如果摄像头发现障碍系统就判定为障碍,反而会为黑客攻击提供机会。但如果不这么做,一个或几个传感器探测到了风险,其他却没有探测到不算数,可能会引发其他的麻烦。


“如果你的自动驾驶系统可以忽略图像攻击,又未能得到其他传感器的正确验证,就会有发生其他事故的风险。”Nassi 说道。“降低黑客攻击的风险需要付出代价。”


通用旗下自动驾驶公司 Cruise 的 Charlie Miller,曾在滴滴出行进行自动驾驶安全方面的工作,他对此反驳说:“基于激光雷达的自动驾驶实际上已经解决了这一问题。”


“对于系统传感器的工具总是吸引眼球的,但对于我所熟悉的系统来说,这并不是一种严重的攻击行为。”Miller 说道,“例如在 Uber 和 Cruise 的自动驾驶车队中。”


但他仍然认为 Ben Gurion 的研究很有意义。“这是我们需要考虑并着手应对的问题。对于特斯拉来说,其辅助驾驶系统依赖于视频输入内容,这种系统必须保证可被信赖。”


参考链接:https://arstechnica.com/cars/2020/01/how-a-300-projector-can-fool-teslas-autopilot/


本文来自微信公众号:机器之心(ID:almosthuman2014),作者:蛋酱、张倩

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定

相关推荐