欢迎光临第五届中国汽车网络信息安全峰会2020!

模型入侵ADAS为自动驾驶汽车铺平安全道路

发布日期:2020-04-16

GRCCIoVSecurity

2020-04-16 11:16:38

手机阅读


点击上方蓝色字体,关注我们



在过去的几年中,对于那些渴望观察自动驾驶稳步发展的人们来说,这非常着迷。尽管半自动驾驶汽车已经存在了很多年,但作为一个单独的实体运行的全自动驾驶汽车的愿景仍然是未来的事情。但是,该领域的**技术进步为我们提供了我们可能期望“在未来”看到的某些功能的独特而引人注目的画面。一语双关。


例如,几乎每一辆2019年生产的新车都有一个模型,该模型实现了**进的传感器,这些传感器利用机器学习或人工智能等分析技术,设计用于自动化、辅助或替换人类以前负责的许多功能。这些传感器可以从挡风玻璃上的雨水传感器到控制雨刮片,再到使用雷达和激光雷达来避免碰撞的目标检测传感器,再到能够识别范围内的目标并为车辆提供直接驾驶输入的摄像系统。


这种广泛的采用代表了我们行业的一个迷人的发展;这是非常罕见的一次,研究人员能够在识别底层系统的弱点方面**于对手。


McAfee Advanced Threat Research(ATR)有一个特定的目标:识别并阐明当今复杂环境中的广泛威胁。有了模型黑客技术,即研究对手如何瞄准和躲避人工智能,我们就有了一个不可思议的机会来影响对更安全技术的认识、理解和开发,然后再以对对手有实际价值的方式加以实施。


考虑到这一点,我们决定将工作重点放在广泛部署的MobileEye摄像头系统上,该系统目前已在超过4000万辆汽车上使用,包括采用硬件包1的特斯拉车型。




18个月的研究
McAfee Advanced Threat Research遵循我们网站上所述的负责任的披露政策。因此,我们在公开披露前90天向特斯拉和MobilEye披露了以下调查结果。McAfee于2019年9月27日向Tesla和2019年10月3日向MobilEye披露了调查结果。两个供应商都表示有兴趣,并对这项研究表示感谢,但没有表示目前在现有平台上解决这一问题的任何计划。MobileEye确实指出,较新版本的摄像头系统解决了这些用例。


MobilEye是先进驾驶辅助系统(ADAS)的**供应商之一,为世界上一些**进的汽车公司提供服务。另一方面,特斯拉是开创性创新的代名词,为世界提供了创新环保的智能汽车。


Tesla model X (2016)



Tesla model S (2016)


                                           (*MobilEye摄像机传感器)


(*显示特斯拉硬件包1中使用的MobilEye EyeQ3的表格。)


正如我们在上面简要提到的那样,McAfee Advanced Threat Research一直在研究我们所谓的“模型黑客”,在业界也被称为对抗性机器学习。模型黑客是利用机器学习算法中普遍存在的弱点来取得不利结果的概念。我们这样做是为了确定在一个行业中,即将出现的问题,该行业正在以安全无法跟上的速度发展。


我们通过复制有关攻击自动驾驶车辆中使用的机器学习图像分类器系统方法的行业论文而开始进入模型黑客的世界,重点是引起交通标志的错误分类。我们能够重现并极大地扩展了先前针对停车标志的研究,包括针对特定错误分类的针对性攻击和针对特定图像的非针对性攻击,这些针对性的攻击并没有规定将图像误分类为什么样的图像。分类错误。最终,我们成功地创建了非常有效的数字攻击,该攻击可能导致高度鲁棒的分类器误分类,该分类器可以高精度和准确地确定其目标内容,接近100%的置信度。


(*针对停车标志的有针对性的数字白盒攻击,导致自定义交通标志分类器误分类为35英里/小时的速度标志)


我们进一步加大了创建物理贴纸的力度,如下所示,该贴纸可以模拟原始照片的相同类型的干扰或数字变化,这会触发分类器中的弱点并导致其对目标图像进行错误分类。



(*针对停车标志的有针对性的白盒攻击,导致自定义交通标志分类器将停车标志误分类为添加的车道标志)


这组贴纸是使用目标标志上的颜色,大小和位置的正确组合专门创建的,以使基于网络摄像头的强大图像分类器认为它正在查看“添加车道”标志而不是停车标志。




(*实验室中我们的弹性分类器的视频演示,即使部分受阻,它也能正确识别35英里/小时的限速标志)


实际上,现代车辆还没有依靠停车标志来启用任何自动驾驶功能,例如踩刹车,因此我们决定改变方法,将(双关意向)转换为限速标志。例如,我们知道某些车辆使用MobilEye摄像机来确定速度限制,将其显示在平视显示器(HUD)上,甚至可能将该速度限制提供给与自动驾驶相关的汽车某些功能。我们将回到这一点!


然后,我们使用高度可靠的分类器和值得信赖的高分辨率网络摄像头,对交通标志重复了停车标志实验。只是为了展示分类器的鲁棒性,我们可以对符号进行许多更改(将其部分遮挡,将标签放置在随机位置中),然后分类器在正确预测真实符号方面做了出色的工作,如上面的视频所示。尽管要取得相同的成功有许多障碍,但我们最终能够以数字和物理方式证明针对限速标志的针对性和非针对性攻击。下图突出显示了其中一些测试。


(*我们的弹性分类器的示例以95.93%的置信度正确分类了35英里/小时的速度标志)


(* 使用黑白打印机打印出的目标数字摄动的示例,这会导致将35 mph速度符号错误分类为45 mph速度符号。)


(*在速度限制35号上进行有针对性的黑匣子攻击,导致该标志误分类为45英里/小时的标志)


(*黑匣子攻击时速为35英里/小时,导致错误分类为时速45英里/小时。该攻击还转移了**进的CNN,即Inception-V3,VGG-19和ResNet-50)


此时,您可能想知道“除了酷因素之外,欺骗网络摄像头将限速标志错误分类有何特别之处?”真的不多。我们有相同的感觉,并决定是时候测试“黑匣子理论”了。


在最简单的形式中,这意味着利用模型黑客进行的攻击,这些攻击是针对白盒(也称为开源系统)进行训练和执行的,只要这些功能能够成功转移到黑盒或完全封闭的专有系统即可攻击的性质足够相似。例如,如果一个系统依赖于图像像素的特定数值对其进行分类,则攻击应在也依赖于基于像素的功能的另一相机系统上进行。


我们基于实验室的测试的最后一部分涉及简化此攻击并将其应用于实际目标。我们想知道MobilEye相机是否像我们在实验室中构建的基于网络摄像头的分类器一样强大?它是否真的需要几个高度特定且易于注意的标签来导致分类错误?感谢几位友好的办公室员工,我们能够使用MobilEye相机(特斯拉的带EyeQ3 mobilEye芯片的硬件包1)对2016年型号“ S”和2016年型号“ X” Tesla进行重复测试。第一次测试仅涉及尝试重新创建物理标签测试的方法,并且几乎可以立即进行并且具有很高的可重复性。




(*这些对抗性标签使特斯拉Model X上的MobilEye将35英里/小时的速度标志解释为85英里/小时的速度标志)


在我们的实验室测试中,我们知道可以模拟现实条件,因此可以抵抗角度,光线甚至反射率的变化。尽管这些效果并不**,但我们的结果相对一致,使MobilEye摄像头认为它所看到的速度极限标志与实际情况不同。我们测试的下一步是减少标贴的数量,以确定它们在哪些时候未能引起分类错误。在开始时,我们意识到HUD继续对限速标志进行错误分类。我们继续在唯一可能使网络摄像头混乱的位置上,从4个对抗性贴纸中减少贴纸,一路下降到一条大约2英寸长的黑色电工胶带,并在交通标志上扩展3个中间部分。



(*坚固,不起眼的黑色贴纸使特斯拉S型车误分类,特斯拉S型车在激活TACC(交通感知巡航控制系统)时用于速度辅助 )


即使从训练有素的角度来看,这似乎也不是可疑或恶意的,而且许多看到它的人根本没有意识到该标志已被更改。这个小小的贴纸是使MobilEye相机对时速为85 mph的**预测所需要的。


(*黑带攻击表明,在特斯拉X型机车的HUD上,时速35英里的标志被误读为时速85英里的标志)


终点线很近(可能是双关语)。


最后,我们开始研究摄像头传感器的任何功能是否可能直接影响汽车的任何机械功能,甚至更相关的自主功能。经过广泛研究,我们遇到了一个论坛,该论坛涉及一个事实,即称为特斯拉自动巡航控制(TACC)的功能可以使用限速标志作为输入来设置车辆速度。



所有者之间普遍达成共识,认为这可能是受支持的功能。显然,论坛成员之间对于是否可以使用此功能也感到困惑,因此我们的下一步是通过咨询Tesla软件更新和新功能发布来进行验证。


TACC的软件版本仅包含足够的信息,可以在特斯拉自动巡航控制功能说明下的以下声明中为我们提供速度辅助。


“您现在可以立即将设置的速度调整为Speed Assist确定的速度。”


这使我们无法进行最终的文档搜索“兔子洞”。特斯拉在2014年悄悄推出了Speed Assist功能。



最后!现在,我们可以将所有这些信息加起来,以推测可能,对于启用了速度辅助(SA)和特斯拉自动巡航控制(TACC)的特斯拉车型,将我们对交通标志的简单修改用于导致汽车提速在其自己的!


尽管确信这在理论上是可行的,但我们还是决定简单地进行一些测试以供参考。


McAfee ATR该项目的**研究员Shivangee Trivedi与我们的另一位漏洞研究人员Mark Bereza合作,而后者恰好拥有一辆拥有所有这些功能的特斯拉。谢谢马克!


为了详尽地查看用于复制和验证针对此目标的错误分类的测试,条件和设备的数量,我们在此处发布了测试矩阵。


最终的发现是我们能够实现最初的目标。通过对我们的限速标志进行微小的基于贴纸的修改,我们能够导致特斯拉上的MobilEye摄像机有针对性的错误分类,并使用它使车辆在读取35英里/小时的标志时自动以**时速85英里/小时。出于安全原因,视频演示显示速度开始达到峰值,TACC加速至85,但是鉴于我们的测试条件,我们在达到目标速度之前就充分应用了制动器。值得注意的是,这似乎只有在驾驶员首次轻按控制杆并接合TACC的TACC的第一种实现方式时才可能实现。如果分类错误成功,则自动驾驶仪将有100%的时间参与。这个快速的演示视频展示了所有这些概念。



值得注意的是,所有这些发现均针对MobilEye相机平台的早期版本(Tesla硬件包1,mobilEye版本EyeQ3)进行了测试。我们确实可以使用实施了**版MobilEye相机的2020年车辆,并且很高兴看到它似乎不受此攻击媒介或分类错误的影响,尽管我们的测试非常有限。我们很高兴看到MobilEye似乎已经拥抱了致力于解决此问题的研究人员社区,并正在努力提高其产品的弹性。尽管如此,要广泛部署**的MobilEye相机平台还需要一段时间。易受攻击的摄像头版本继续在Tesla车辆中占据了相当大的安装基础。特斯拉车辆的**模型不再采用MobilEye技术,并且目前似乎根本不支持交通标志识别。



未来展望

我们认为通过现实检查关闭此博客很重要。对手是否有可能利用此类攻击造成损害的可行方案?是的,但实际上,这项工作目前在学术上尚属高度。尽管如此,它仍然代表了我们这个行业可以重点解决的最重要的工作。如果供应商和研究人员能够共同努力,提前发现并解决这些问题,那对我们所有人来说将是一次不可思议的胜利。我们将为此留给您:


为了在这个关键行业取得成功并改变人们对机器学习系统是安全的认识,我们需要加快对问题的讨论和认识,并指导下一代技术的方向和发展。双关语意向。



关于作者:

史蒂夫·波沃尔尼 (Steve Povolny)

Steve Povolny是McAfee Advanced Threat Research的负责人,该公司提供涵盖几乎每个行业的突破性漏洞研究。史蒂夫(Steve)在网络安全方面拥有十多年的经验,是公认的硬件和软件漏洞权威,并且与学术界,政府,执法机构,消费者和企业所有企业的影响者定期进行合作。


希万杰·特里维迪(Shivangee Trivedi)

Shivangee在McAfee的高级威胁研究团队工作,专注于数据科学。过去,她曾使用NLP技术对Twitter数据进行情感分析,并通过对SiteAdvisor数据进行数据分析来为营销自动化工具做出了贡献。她目前的兴趣包括对抗性机器学习和强化学习...



相关文章

McAfee 警告 | 智能汽车可能会通过AI黑客被劫持
" Model Hacking"的介绍和应用

HARMAN 发布针对机器视觉的安全白皮书
阿哈!黑客可以利用幻影图像导致自动驾驶车祸



 

长按二维码识别关注



  • 电话咨询
  • 15021948198
  • 021-22306692
None