百分点认知智能尝试室出品：智能问答中的反抗进攻及防止计策

本文作者：陈旭

一、反抗进攻概述

跟着近些年深度进修的快速成长，深度神经收集逐渐成为呆板进修规模的主流模子，被普及应用于计较机视觉、天然说话处理赏罚等规模，但在研究与应用的同时，人们徐徐发明，深度神经收集具有必然的“懦弱性”。好比，在图像辨认中，对模子的输入也就是图像像素值做稍微扰动，这种扰动不会改变图像的现实分类，人也难以发觉，却也许导致模子对图像的分类堕落;可能在一段文本的情绪说明中，文本中有一个字写错，这个错误不影响人的领略，也不会改变人对这段文本的情绪判定，模子却也许判定堕落。这类错误一方面会低落人们对体系行使体验的好感度，另一方面也许会造成严峻的效果，从而也限定了深度神经收集在一些安详要求很高的场景下的应用。

近几年，人们开始对这一题目睁开研究。如前文例子那样，人们全心计一律些样本，模子却判定堕落，这个进程就是反抗进攻，这些样本就是反抗样本。通过研究反抗进攻以及响应的防止计策，有助于进步神经收集的鲁棒性和可表明性。

二、文本反抗进攻的首要要领

深度神经收集反抗进攻的研究最早在图像规模睁开，此刻在文本事域也有了一些相干研究。针对文本的反抗进攻，从差异的角度有差异的分类，常见的有：按照结构反抗样本时基于的信息分为白盒进攻和黑盒进攻;按照错误的输出是否是某个特定的功效，分为定向进攻和非定向进攻;按照窜改文本的范例，分为基于字、词和句子的反抗进攻。这里我们首要先容一下第一种分类。

2.1 白盒进攻

白盒进攻，是指在结构反抗样本的时辰，有所要进攻的模子的常识，如模子的布局、参数、权重等。属于白盒进攻的进攻方法有许多种，这里举例先容个中一种：基于FGSM的要领。譬喻，对付一个输入样本，一种要领是计较模子的丧失对输入向量(对付文原来说，输入向量一样平常是文本的字向量或词向量)的梯度，然后将梯怀抱纲最大的维度所属的字界说为“热字”，包括足够多热字而且呈现频仍的短语被界说为热短语。然后基于热短语，举办增编削，天生反抗样本。

2.2 黑盒进攻

黑盒进攻与白盒进攻相反，在结构反抗样本的时辰，没有所要进攻的模子的常识。假如这个模子能被进攻者行使，则进攻者可以通过不绝实行，修改模子输入，调查模子输出来结构反抗样本。

假如不具备上述前提，可是可以或许对模子功效界说一个置信度打分函数，则可行使基于重要性的进攻要领。以文天职类为例，对文本中的每个词语，计较将该词语删除或替代为空格前后，文天职到正确种别上置信度分数(好比分到该类此外概率值)的变革量，将这个变革量作为这个词语重要性的分数，变革量越大越重要。然后，对重要性高的词语举办窜改。

假如上述前提均不具备，则进攻者凡是实习一个更换模子，然后针对更换模子，结构反抗样本，因为反抗样本具有必然可迁徙性，可以用这些样本对方针模子举办进攻。在行使更换模子的环境下，结构反抗样本就可以运用白盒进攻中的一些要领。

三、语义等价题目的反抗进攻

2019年，百分点与北京市科委一路主办了数据智能创新应用大赛，大赛聚焦于智能问答中的语义等价题目的反抗进攻，要求参赛者通过研究智能对话的鲁棒性题目举办算法创新，来进步对话体系的“思索手段”和“办理题目”的手段，让呆板实现从“闻声”到“听懂”，最终晋升用户体验感。

在这个进程中，判定两个题目是否语义等价，是基于FAQ的问答体系的焦点环节。譬喻：“市当局统领哪些部分?”和“哪些部分受到市当局的统领?”是语义等价的两个题目，后者的谜底可以答复前者;而“市当局统领哪些部分?”和“市长统领哪些部分?”则为不等价的题目。在问答体系现实行使中，用户问的一个题目也许和常识库中题目语义等价，但用户的题目表述方法和用词多样，有的会呈现不影响领略的多字、少字、错字、语气词、搁浅等;有的题目则和常识库里的题目字面上很临近，但因为要害信息的差异，二者语义并不完全等价。假如针对第一种环境，体系如故能判定为等价，第二种环境能判定为不等价，则能较好地担保用户的行使体验。

如本文第一节所述，反抗进攻是指对模子的输入样本作细小窜改，这个窜改不影响样本的真实输出(如真实种别)，但对应的模子输出改变的进程。在这里，我们对这个观念稍作扩展，将对输入作细小窜改，使得输出由正确变为错误的，都以为是反抗进攻。

两个题目本来是不等价的，大大都环境，这两个题目字面上就相差较量大，颠末细小窜改，每每如故是不等价的，并且模子猜测功效也不轻易堕落，以是反抗样本的结构没有涉及这种环境，而是针对两个题目本来等价的环境举办，这种环境又分窜改往后如故等价和不等价两种环境。

因为反抗样本的结构进程中，没有待进攻的模子的信息，因此这里反抗样本的结构是个黑盒进攻的进程。我们操作角逐实习集，实习了一个基于BERT的语义等价模子，来帮助反抗样本的结构。对两个等价题目颠末改革后不等价的环境，我们采纳人工给题目中的某个词加影响语义的修饰限制因素或将要害词换成非同义词的方法改革，然后看模子是否如故判定为等价，假如是，则改革乐成。对两个等价题目，颠末改革后如故等价的环境，我们首要通过人工给原题目换同音字、形近字、同义词、增进有时义词或不影响语义的修饰限制因素的方法改革，同时担保所做的改革是公道且不改变语义的，改革后，看模子是否判定为不等价，假如是，则改革乐成。

第二种环境，窜改每每不轻易乐成，为了进步针对性，我们对一组两个题目中的每个词语，将其删除后，计较模子猜测两个题目为等价的概率值，按照每个词语对应的概率值从低到高的次序，对词语排序，排在前面的词语，以为是对模子猜测这两个题目等价较量重要的词语，在题目改革时，重点环绕这些词语举办。结构的反抗样本举譬喻下图：

四、文本反抗进攻的防止计策

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!