本文提出3D Depth Fool （3D²FoO），第一个针对MDE模型的基于3D纹理的对抗攻击。3D²FoO经过优化可生成与汽车模型种类无关的3D对抗纹理，并提高了在恶劣天气条件(如雨、雾)下的鲁棒性。投稿人简介：郑君豪，西安交通大学网络空间安全学院博士一年级学生，导师是沈超老师，主要研究方向为自动驾驶感知安全和对抗攻击。本文介绍西安交通大学网络空间学院先智所提出的针对自动驾驶场景下单目深度估计模型的对抗攻击方法，论文被CVPR2024收录。

Physical 3D Adversarial Attacks against Monocular Depth Estimation in Autonomous Driving

论文：https://arxiv.org/abs/2403.17301

代码：https://github.com/gandolfczjh/3d2fool

摘要

简介

尽管深度神经网络(DNNs)被广泛应用，但是它们容易受到对抗攻击的影响，这也对基于DNNs的MDE模型构成了安全威胁。对抗攻击可以根据应用场景分为两种类型：数字域对抗攻击和物理域对抗攻击。数字域攻击主要是对图像像素添加小的扰动，由于其对物理变化(如打印、天气条件和视角变化)的敏感性，它们很难直接转化到物理世界中。物理域攻击通过在各种物理约束下优化扰动来解决这些限制，并且它们在误导现实世界的自动驾驶系统的感知模型上取得了一定成功(CAMOU[1], DAS[2], FCA[3], DTA[4], ACTIVE[5])。在物理世界的攻击中，攻击者往往设计一个2D对抗补丁或3D伪装纹理并将其粘贴到目标车辆上，由摄像头捕获，然后将其输入到受害者模型中。2D对抗补丁仅能粘贴在物体表面的局部平面部分，无法在不同的视角和距离上实现对抗效果。相比之下，3D伪装纹理是为了覆盖车辆的整个表面，从而在任何视角下都能获得更好的攻击性能。

图二 (a)现有的2D对抗补丁攻击(APARATE[7], SPOO[9])和(b)其3D对抗纹理的修改版本未能完全从MDE预测深度图中隐藏车辆，而(c)我们的鲁棒3D对抗性纹理使汽车消失

方法

图三 方法框图

实验

实验在Carla 渲染器中完成，用于测评的MDE模型包括：Monodepth2[10]，Depthhints[11]， Manydepth[12]，Robustdepth[13]  whaosoft aiot http://143ai.com

图六 不同方法的攻击性能在不同距离和角度下的比较

在不同的天气条件下，分别测试各攻击方法对Monodepth2[10]模型的攻击效果，结果如下图表所示。

在不同的目标物体上，如行人、公交、卡车上，分别测试各攻击方法对Monodepth2[10]模型的攻击效果，结果如下图表所示。

在物理世界的实验测试中，我们将纹理粘贴在汽车模型表面，测试对Monodepth2[10]模型的攻击效果，结果如下图表所示。