图片打「马赛克」可骗过AI视觉体系，阿里宁静新研讨当选ICCV 2021
呆板之心专栏
阿里宁静人工智能管理与可连续进展试验室（AAIG）
来自阿里宁静人工智能管理与可连续进展试验室（AAIG）等机构的研究者提出了一个新的机制来天生反抗样本，即与增添反抗扰动相反，他们通过抛弃一些不行察觉的图像细节来天生反抗样本。这项研究结果已被 AI 顶会 ICCV 2021 收录。
人类拥有很强的抽象本领和遐想力，比方一个有几块积木拼成的乐高玩具，小朋侪也能方便认出此中形貌的场景 （人开着小车）。乃至几个像素，玩家也可以方便认出这是一个戴着帽子的小人 （超等玛丽奥）。
图 1. 乐高与像素马里奥
只管我们盼望模子能具有和人相称的本领，但是「抽象本领」对付模子来说，在当前明显照旧一个相称具有挑衅性的使命。但相反的，假如我们从反抗样本的角度来思量：存不存在一种大概，假如我们去失图片中一些对模子来说要害而微小的特性，模子就无法再精确辨认这些图片？
一. 什么是反抗样本？
反抗样本一开始由 Szegedy 等人在 2013 年界说: 给定一张原始图片 x 及其标签 y，以及模子
。反抗样本是指在原图 x 上加一些刻意制造的微小扰动，从而让效果图像无法被精确辨认（如下图所示）。通常来说，反抗扰动被限定在必然阈值内， 界说为
，从而包管效果图对人来说与原图险些不行区分。后续有许多相干事情在当前设定下进一步探究了更多天生反抗样本的打击方法，以及其他性子，比方迁徙性等。
图 2. 反抗打击
二. 反抗样本大概是特性
在反抗样本提出后，有种种百般的防备事情被提出，尤其是反抗练习最为有用的防备方法之一，但是反抗练习非常显着的题目是：在妥当性（robustness）和正确率（accuracy）之间始终有一个均衡，即反抗练习在提拔模子妥当性的同时也会导致模子的正确率降落。为相识释这一征象，Ilyas 等人给反抗样本的存在提出了一个假设：反抗样本不是 bug，而是一组对人来说不行感知的特性。以人类感知为中间，人类所能察觉的特性便是 robust feature，其他的特性则是 non-robust。比方图 3 的狗狗，人类只会细致到此中的耳朵、鼻子等明显特性(robust feature)。
图 3. 妥当特性与非妥当特性
Ilyas 等人通过一组奇妙的试验阐明反抗样本实在是模子从数据中进修到一部门特性，只管对人来说不行感知，但是对付模子来说是具有猜测意义的。受 Ilyas 等人事情开导， 该研究试图从一个相反的角度来商议一个潜伏的打击机制：我们能否去失一些对人来说微小而不行感知、但是对付模子决议计划又紧张的特性，从而形成反抗样本呢？
三. AdvDrop, 通过丢信息来制造反抗样本
图 4. 左侧 AdvDrop，信息丢失越来越多，右侧 PGD, 反抗噪声越来越大
该研究在这个事情中提出一个新的机制来天生反抗样本：与增添反抗扰动相反，他们通过抛弃一些不行察觉的图像细节来天生反抗样本。关于两种相反机制的阐明如图，当 AdvDrop 放宽丢失的信息量的阈值 epsilon，孕育发生的反抗样本越来越趋近于一张灰色图片，而且陪同着图像存储量的低落。相反的，PGD 天生的反抗样本，随着滋扰幅度的增大，越来越靠近于无序噪音。
论文地点：http://www.yaotansuo.com/allimgs/39tansuo/20221117/4138.png.pdf style="text-align: left;" data-track="36">一张更细节的比拟如图 5 所示， 从局部地区来看，PGD 在图片的局部天生了更多的细节，体现为更富厚的色彩。而相反的，AdvDrop 天生的反抗样本与原图相比失去了一些局部细节，体现在色彩精度的低落。
图 5 PGD 与 AdvDrop 局部色彩富厚度
3.1. 要领
但是怎样选择地区去丢失图片的信息呢？以及怎样包管抛弃的细节对人来说依旧是不行感知的呢？
来阿里宁静人工智能管理与可连续进展试验室（AAIG）等机构的研究者提出一种通过优化量化表的方法来选择丢失信息的地区以及丢失的信息量。别的，为了包管丢失的细节对付人来说依旧不行感知，该研究先将图像通过分离傅里叶变更从 RGB 转换到频域，再用量化表去量化一些频域的信息。频域操纵相比于 RGB 的长处是，能更好的分散图像的细节信息（高频信息）和布局信息（低频信息），是以可以包管抛弃的细节对人来说不行感知。
图 6 AdvDrop 算法流程
整个流程如图 6 所示，从优化上，可以被界说为：
此中 D 和
分别表现的是分离余弦变更及反变更，
表现的是一个可微分的量化历程。
通常的量化，可以界说为：
但是由于量化函数不行微分，极大影响优化历程。是以，该研究参考了 Gong 等人的事情，通过引入可控 tanh 函数来渐进的靠近门路式的量化函数，以是：
其斜度可以由 α调解，如下图所示，颠末量化函数可微处置惩罚，可以更正确的反向流传梯度，从而更正确的估量出应该丢失信息的位置及量化的巨细。
图 7. 差别 alpha 下 tanh 函数对量化函数的靠近层度
3.2. 效果评估
该研究用 lpips 比力了 AdvDrop 及 PGD 在雷同信息量改变下的视以为分：从反抗样本的不行感知角度来说，在同样的感知得分下，丢信息操纵许可操纵的信息量要比加滋扰许可的更大。从人类视觉上来说，相比于加噪，人眼对付局部腻滑实在更为不敏感，从图 8 可见，随着量化表阈值的增大，AdvDrop 天生的反抗样本的局部细节越少，比方蜥蜴鳞片的纹理。
图 8. 差别阈值下的打击效果展示
从乐成率上来说，无论是在目的打击照旧无目的打击的设定下， AdvDrop 有相称高的乐成率来天生一个反抗样本。在目的打击下，最高可以到达一个 99.95% 乐成率。但相比于传统加噪的反抗打击天生方法 (比方 PGD，BIM) 可以方便到达 100% 的乐成率来说，依旧是强度较弱的。该研究以为 AdvDrop 在强度方面的范围大概来自于两方面：一方面是因为量化如许的方法，另一方面，「减信息」可以操纵的空间相比于「加信息」 的空间来说要小许多。
别的，该研究也评估了 AdvDrop 在差别防备下的体现。现在主流防备方法重要分为两种，一种是反抗练习 ，另一种是基于去噪的防备方法。该研究发觉 AdvDrop 天生的反抗样本对付现阶段防备方法来说还是一个挑衅，尤其是基于去噪的防备方法。
详细来说，在必然扰动阈值下，基于制造反抗扰动的反抗样本天生方法颠末去噪后，图片有很也许率规复成原始图片。但是对付用 AdvDrop 天生的反抗样原来说，其自己便是因为部门特性丢失而导致的错误辨认，而去噪操纵乃至会加剧这种因为丢失而无法辨认的题目。
图 9. AdvDrop 和 PGD 在 Denoise 操纵下的细节展示
除了防备的角度，思量到许多数据都是从网上网络而来，而网络传输中每每存在数据压缩历程，以是通过 AdvDrop 天生的反抗样本大概「更耐传输」。固然，从另一个角度来想，也有大概对付正常图像数据来说，一些正常的数据压缩（比方 jpeg）或许不经意间就引入了反抗样本。
四. 商议及总结
该研究提出了一个新的天生反抗样本的机制，商议了与之前加噪方法相反的一个角度来天生反抗样本。这一范例的反抗样真相比于传统加滋扰天生的反抗样原来说，更难以防备。
该事情也展示了模子另一个角度的范围性：对紧张细节丢失的妥当性。
在这个事情中，研究职员仅仅探究了在频域上丢信息的操纵，将来，通过其他丢信息方法来天生反抗样本都是可以值得实验的事情。
五. Benchmark
AI 模子的反抗攻防是一个相互博弈的历程，模子的反抗打击与防备屡见不鲜，以上提出的打击算法也仅仅是一种打击形态。为了越发客观、公正地权衡 AI 模子的妥当性， 清华大学、阿里宁静、瑞莱才智团结公布的业内最新的基于深度进修模子的反抗攻防基准平台 Adversarial Robustness Benchmark，这次推出 AI 反抗宁静基准根本上包罗了现在主流的 AI 反抗攻防模子，涵盖了数十种典范的攻防算法。差别算法比测的历程中只管即便采纳了雷同的试验设定和同等的器量尺度，从而在最大限度上包管了比力的公正性和客观性。
反抗攻防基准平台 Adversarial Robustness Benchmark地点：http://www.yaotansuo.com/allimgs/39tansuo/20221117/4139.png class="pgc-img-caption">图 10. Adversarial Robustness Benchmark
