基于梯度扰动试探反抗进攻与反抗样本

概述

近两年研究职员通过对AI模子的安详性说明发明，呆板进修模子和神经收集模子都轻易受到恶意用户的反抗进攻，进攻者可以通过天生反抗样本的方法进攻AI模子并误导AI模子做堕落误的判定，这一安详题目备受存眷。

今朝已有的呆板进修模子和神经收集模子都是通过提取数据特性，构建数学鉴别公式然后按照数学模子举办进修。提取数据特性的进程中轻易提取到错误特性、并且鉴别公式也也许呈现与真实决定面漫衍差异的题目，因此进攻者可以操作AI模子的瑕玷，天生诱骗模子的反抗样本。譬喻在图像辨认规模，可以通过在正常图片上插手一个细小的噪声从而使图像辨认分类器无法正知辨认图像，导致错误分类的结果。这一题目存在严峻的安详隐患。

反抗进攻每每是指进攻者操作特定的模子算法对AI模子举办进攻，其不只包罗进攻者认识AI模子的前提下，对现实输入举办修改从而误导AI模子的鉴别功效，并且包罗进攻者在不相识AI模子的布局和参数的环境下，借助呆板进修模子之间算法迁徙的特征对AI模子举办进攻。

反抗样本凡是是指颠末特定的算法处理赏罚之后，模子的输入产生了改变从而导致模子错误分类。假设输入的样本是一个天然的干净样本。那么颠末进攻者全心处理赏罚之后的样本则称为反抗样本，其目标是使该样本误导模子做出判定。

反抗进攻

反抗进攻可以从几个维度举办分类。譬喻可以通过进攻者对AI模子的相识水平举办分类。

• 白盒进攻。进攻者拥有模子的所有常识，包罗模子的范例，模子布局，全部参数和可实习权重的值。
• 有探针的黑盒进攻。进攻者只相识模子的部门常识，可以探测可能查询模子，好比行使一些输入，调查模子的输出功效。这种场景有许多的变种，好比进攻者知道模子布局，可是不知道参数的值，可能进攻者乃至连模子架构都不知道;进攻者也许可以或许视察到模子输出的每个类此外概率，可能进攻者只可以或许看到模子输出最也许的种别名称。
• 无探针的黑盒进攻。在没有探针的黑盒进攻中，进攻者只拥有关于模子有限的信息可能基础没有信息，同时不应承行使探测可能查询的要领来构建反抗样本。在这种环境下，进攻者必需构建出可以或许诱骗大大都呆板进修模子的反抗样本。

另外还可以通过进攻者进攻的方针将反抗进攻分类。

• 无方针进攻(non-targeted attack)。在这种环境下，进攻者的方针仅仅是使得分类器给堕落误猜测，详细是哪种种别发生错误并不重要。
• 有方针进攻(targeted attack)。在这种环境下，进攻者想要将猜测功效改变为某些指定的方针种别中。

1. 白盒进攻

传统的白盒进攻是指在我们已知神经收集模子的收集布局以及模子参数的环境下，我们针对该神经收集天生反抗样本实现误导该模子的结果。进攻者可以或许获取呆板进修所行使的算法以及算法所行使的参数。进攻者在发生反抗性进攻数据的进程中可以或许和呆板进修的体系有所交互。这种“透明”的进攻方法称之为白盒进攻，凡是是操作模子的梯度、logits输出等模子自己的常识来计划反抗性扰动天生反抗样本对该模子举办进攻。白盒进攻流程表示图如下所示。

白盒进攻表示图

按照反抗样本天生道理的差异，白盒进攻凡是可以分为三类：基于梯度(gradient-based)的进攻、基于优化(optimization-based)的进攻、基于模子(model-based)的进攻。按照天生反抗样本是否对种别有针对性分为有方针进攻和无方针进攻。

下表中总结了当前常用的十种白盒进攻算法的特点，以作为白盒进攻算法的较量参考。

常用的十种白盒进攻算法总结

2. FGSM白盒进攻算法

FGSM(Fast gradient sign method)是一种常见的白盒进攻算法。该进攻要领的思绪很是简朴，首要是操作模子丧失函数对输入求梯度获得反抗性扰动，然后将反抗性扰动添加到原始样本中天生反抗样本。通过在原始样本的邻域中线性化丧失函数，并通过如下闭合情势的方程找到准确的线性化函数的最大值。

FGSM是通过计较单步梯度快速天生反抗样本。基于梯度的进攻要领的道理在于绝大大都神经收集模子中都是通过梯度降落算法最小化丧失函数来举办实习的，因此操作丧失函数对输入求梯度，沿着梯度上升偏向是使样本朝着丧失增大的偏向移动，就有也许导致猜测输出改变。

FGSM道理表示图

FGSM要领利益是计较本钱低、天生速率快，弱点是进攻手段较弱，合用于对进攻服从有较高要求的应用场景。

3. C&W白盒进攻算法

C&W进攻算法是一种基于迭代优化的低扰动反抗样本天生算法。该算法计划了一个丧失函数，它在反抗样本中有较小的值，但在原始样本中有较大的值，因此通过最小化该丧失函数即可征采到反抗样本。

C&W算法首要对多步迭代进攻中的优化函数举办从头计划，回收以下方针函数：

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!