欢迎光临第五届中国汽车网络信息安全峰会2020!

" Model Hacking"的介绍和应用

发布日期:2020-04-02

GRCCIoVSecurity

2020-04-02 13:05:28

手机阅读

术语“ Adversarial Machine Learning”(AML)令人拗口!该术语描述了有关针对人工智能(AI)模型和功能的对抗性攻击的研究和设计的研究领域。即使是这个简单的定义也可以让最有知识的安全从业人员敬而远之!我们创造了更简单的术语“model hacking 模型黑客”,以增强读者对这一日益严重的威胁的理解。在此文章中,我们将解释这个非常重要的主题,并提供真实世界影响的示例,包括从迈克菲的高级分析团队(AAT)和高级威胁研究(ATR)共同努力解决自动驾驶中的关键威胁得出的结论。 


1. 基础知识


大多数市场将AI解释为包括机器学习(ML),深度学习(DL)和实际AI,我们将在这里使用AI这个通用术语。在AI内,模型(一种提供洞察力以实现业务成果的数学算法)可以在不了解所创建的实际模型的情况下受到攻击。特征是定义所需输出的模型的那些特征。在不了解所使用功能的情况下,也可以攻击功能!我们刚刚描述的被称为AML中的“黑匣子”攻击-不知道模型和功能-或“模型黑客”。模型和/或功能部件可能是已知的或未知的,在没有安全意识的情况下会增加误报或误报的可能性,除非对这些漏洞进行监视并最终加以保护和纠正。


在AI的反馈学习循环中,对模型进行了周期性的训练,以了解新的威胁并使模型保持**状态(见图1)。通过模型黑客,攻击者可以毒害训练集。但是,测试集也可能遭到黑客入侵,导致假阴性增加,从而逃避了模型的意图并错误地分类了模型的决策。只需通过扰动-更改某些功能(例如图像的像素)的大小,从零到1 /从零到零或删除一些功能-攻击者就可以在安全操作中造成灾难性的破坏。黑客将继续毫不客气地“ ping”,直到获得可恶的结果,而且他们甚至不必使用我们最初使用的相同模型进行攻击!


(* 图1. AI学习的持续反馈循环)


2. 图像和恶意软件的数字攻击


黑客的目标可以是有针对性的(特定功能和一种特定的错误类别),也可以是无目标的(无差别的分类器和一种以上的特定错误类别),数字(例如图像,音频)或物理(例如限速标志)。图2显示了以数字为目标的Rockhopper企鹅。一个白盒子逃避示例(我们知道其模型和功能),一些像素变化以及不良的企鹅现在被归类为煎锅或计算机,精度很高。


(* 图2.一个白盒,针对性和数字攻击的回避示例,导致在像素扰动后将企鹅检测为台式计算机(85.54%)或煎锅(93.07%)。)


尽管当前大多数模型黑客研究都集中在图像识别上,但我们已经研究了针对恶意软件检测和静态分析的规避攻击和缓解方法。我们利用Android恶意软件数据集DREBIN [1],并复制了Grosse等人的结果,[2016]。利用625个突出显示FakeInstaller的恶意软件样本,120k良性样本和5.5K恶意软件,我们开发了具有约1.5K功能的四层深度神经网络(请参见图3)。但是,在仅修改少于10个功能的回避攻击之后,该恶意软件回避了神经网络近100%。当然,这是我们所有人关心的问题。


(* 图3.恶意软件数据集的度量标准和样本大小。)

 


使用CleverHans [1]开源库的Jacobian显着性图方法(JSMA)算法,我们产生了扰动,产生了对抗性示例。对抗性示例是攻击者故意设计的,导致模型犯错的ML模型输入[1]。JSMA算法仅需要最少数量的功能就可以修改。图4展示了原始恶意软件样本(被检测为具有91%置信度的恶意软件)。在白盒攻击中仅添加了两个API调用之后,现在可以100%的置信度检测到该对抗示例为良性。显然,这可能是灾难性的!


(* 图4.在特征空间中添加到恶意软件的扰动以100%的置信度进行了良性检测。)

 

2016年,Papernot [5]证明攻击者无需了解检测恶意软件所使用的确切模型。攻击者在图5中证明了这种可传输性理论,攻击者构建了K最近邻(KNN)算法的源(或替代)模型,并创建了针对性示例(针对支持向量机(SVM)算法)。它的成功率为82.16%,最终证明了一种模型的替代和可移植性不仅可以实现黑盒攻击,而且可以非常成功。


(* 图5. Papernot从一个模型(K最近邻居或KNN)创建的对抗示例的成功5可移植性,以攻击另一模型(支持向量机或SVM)。)


在黑盒攻击中,DREBIN Android恶意软件数据集被检测为92%为恶意软件。但是,通过使用替代模型并将对抗性示例转移到受害者(即源)系统,我们能够将恶意软件的检测率降低到几乎为零。另一个灾难性的例子!


* 图6.演示了DREBIN恶意软件的黑盒攻击。)


3. 交通标志的物理攻击


尽管恶意软件是网络犯罪分子部署来攻击受害者的最常见工件,但存在许多其他目标,它们构成了相同甚至更大的威胁。在过去的18个月中,我们研究了日益成为行业研究趋势的一种趋势:对交通标志的数字和物理攻击。该领域的研究可以追溯到数年前,并且已经在许多出版物中得到复制和增强。我们最初着手复制该主题的原始论文之一,并使用RGB(红绿蓝)网络摄像头对LISA [6]交通标志数据集中的停车标志进行分类,从而构建了高度可靠的分类器。该模型的表现异常出色,可以处理照明,视角和标志障碍物。在几个月的时间里,我们开发了模型黑客代码,以在数字和物理领域对标牌造成无针对性的攻击和有针对性的攻击。取得了成功之后,我们将攻击向量扩展到了限速标志,认识到现代车辆越来越多地实施基于摄像头的限速标志检测,这不仅是车辆平视显示器(HUD)的输入,而且在某些情况下案例,作为车辆实际驾驶策略的输入。最终,我们发现对速度限制标志的微小修改可能使攻击者影响车辆的自动驾驶功能,从而控制自适应巡航控制系统的速度!有关此研究的更多详细信息,请参阅我们关于该主题的大量博客文章。


4. 检测并防范模型黑客


好消息是,就像经典软件漏洞一样,可以防御模型黑客攻击,并且业界正在利用这一难得的机会来应对威胁,然后再将其变为对敌人真正的价值。每周都会发表许多文章,从而不断发现并防御模型黑客攻击。


检测方法包括确保已安装所有软件补丁程序,密切监视误报和误报的漂移,指出必须更改阈值的原因和结果,频繁进行再培训以及审核现场的衰减(即模型可靠性)。正在研究领域研究可解释的AI(“ XAI”),以回答“为什么该NN做出了决定?”但也可以应用于优先功能的细微变化,以评估潜在的模型入侵。此外,人机组合对于确保机器不会自动运行并受到在环人员的监督至关重要。机器当前不了解上下文;然而,人类确实并且可以考虑所有可能的根本原因以及度量指标几乎不可察觉的变化的缓解。


常用的保护方法包括许多分析解决方案:特征压缩和归约,蒸馏,添加噪声,多分类器系统,拒绝负面影响(RONI)以及许多其他解决方案,包括组合解决方案。每种方法各有利弊,建议读者考虑其特定的生态系统和安全性指标以选择适当的方法。


5. 模型黑客威胁与持续研究


尽管还没有关于野蛮黑客行为的文献报道,但值得注意的是,过去几年的研究有所增加:从2014年的不到50篇文献到2020年的1500篇。这是无知的我们假设资深的黑客没有阅读这些文献。还值得注意的是,也许是第一次在网络安全领域,大量研究人员主动开发了针对这些独特漏洞的攻击,检测和防护。


我们将继续增加对模型黑客攻击的认识,并确保我们实施的解决方案具有内置的检测和保护功能。我们的研究擅长针对**算法,例如恶意软件检测,面部识别和图像库中的GANS(通用对抗网络)。我们也正在将交通标志模型黑客行为转移到其他真实示例中。


最后,我们认为McAfee在这一关键领域**于安全行业。使McAfee与众不同的一个方面是ATR和AAT之间的独特关系和跨团队协作。每个人都利用其独特的技能。通过其世界**的数据分析和人工智能专业知识,ATR具有深入和**的安全性研究功能以及AAT。合并后,这些团队可以做的事很少。在恶意行为者甚至开始理解或武器化威胁之前,就对具有独特成分的新兴攻击媒介中的威胁进行预测,研究,分析和防御。


 

[1] Courtesy of Technische Universitat Braunschweig.

[2] Grosse, Kathrin, Nicolas Papernot, et al. ”Adversarial Perturbations Against Deep Neural Networks for Malware Classification” Cornell University Library. 16 Jun 2016.

[3] Cleverhans: An adversarial example library for constructing attacks, building defenses, and benchmarking both located at https://github.com/tensorflow/cleverhans.

[4] Goodfellow, Ian, et al. “Generative Adversarial Nets” https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf.

[5] Papernot, Nicholas, et al. “Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples”  https://arxiv.org/abs/1605.07277.

[6] LISA = Laboratory for Intelligent and Safe Automobiles


作者:

Steve Povolny是McAfee Advanced Threat Research的负责人,该公司提供涵盖几乎每个行业的突破性漏洞研究。

Celeste Fralick, McAfee高级**工程师兼**数据科学家。





END





点击上方蓝字关注我们



  • 电话咨询
  • 15021948198
  • 021-22306692
None