深度进修模子的不确定性

本文由Google的研究科学家Jasper Snoek和Google的研究工程师Zachary Nado宣布于GoogleAI博客，atyun编译。

在抱负的天下中，陈设了像深度进修这样的呆板进修（ML）要领，就可以按照与实习数据沟通的漫衍对数据举办猜测。可是现实环境也许大不沟通：相机镜头变得恍惚，传感器机能降落以及风行的在线主题产生变革，也许会导致实习模子的数据与应用模子的数据漫衍之间存在差别，这种环境被称为协变。譬喻，最近调查到当对未知医院数据举办评估时，受过实习以检测胸部X光片中的肺炎的深度进修模子将得到很是差异的精确性，这部门是因为图像获取和处理赏罚之间的渺小差别。

在NeurIPS 2019时代，我们对最先辈的深度进修模子的不确定性举办了基准测试，由于它们同时袒露于变革的数据漫衍和漫衍失调的数据。在这项事变中，我们思量了多种输入方法，包罗图像，文本和在线告白数据，使这些深度进修模子袒露于日益变革的测试数据中，同时细心说明白其猜测概率的举动。我们还较量了改进模子不确定性的各类差异要领，以查察哪种计策在漫衍偏移下结果最佳。

什么是分发数据？

深度进修模子为每个猜测提供概率，代表模子的置信度或不确定性。因此当数据超出原始实习数据集的范畴时，可以表达他们不知道的内容，并响应地放弃猜测。在协变量平移的环境下，不确定性抱负环境下将与精度的任何低竣工比例地增进。一个更极度的环境是，在实习齐集基础没有暗示数据时，即数据失配（OOD）时。譬喻，思量将动物图像分类器表现为飞机图像时会产生什么。该模子会自信地猜测错误，照旧会为每个种别分派低概率？在相干文章中我们最近接头了为辨认此类OOD示例而开拓的要领。相反，在这项事变中，我们说明白模子的猜测不确定性，并给出了漫衍失调的例子并转移了示例，以查察模子概率是否反应了它们对此类数据举办猜测的手段。

量化不确定性的质量

一个模子比另一个模子更好地暗示其不确定性意味着什么？尽量这也许是一个渺小的题目，凡是由下流使命来界说，但仍有一些要领可以定量评估概率猜测的总体质量。譬喻，情景界已经细心思量了这个题目，并拟定了一套恰当的评分法则概率气候预告的较量成果应该获得满意，以便举办精采的校准，同时仍会进步精确性。我们应用了一些恰当的评分法则，譬喻Brier得分和负对数也许性（NLL），以及更直观的开导式要领，譬喻预期的校准偏差（ECE），以相识差异的ML模子如那里理赏罚数据集移位下的不确定性。

尝试

我们说明数据集移动对各类数据模式（包罗图像、文本、在线告白数据和基因组学）不确定性的影响。譬喻，我们声名白数据集移位对ImageNet的影响数据集，一种风行的图像领略基准。ImageNet涉及将高出一百万个图像分类为1000个差异种别。此刻，有些人以为这一挑衅已根基办理，而且已经开拓出了更难的变体，譬喻Corrupted Imagenet（或Imagenet-C），个中数据按照16种差异的现实粉碎水平（每种强度别离为5种差异）举办了扩充。

我们试探了模子不确定性在数据漫衍变革下的举动，譬喻在Corrupted Imagenet中行使的图像扰动强度增进。此处表现的是强度级别3（共5个）中每种范例的图像破坏的示例。

我们行使这些破坏的图像作为移位数据的示例，并研究了深度进修模子袒露于强度变革时的猜测概率。在下面，我们表现了每个破坏级别（包罗未破坏的测试数据）所获得的精确性和ECE的箱形图，个中每个箱形图汇总了ImageNet-C中的全部破坏范例。每种颜色代表差异范例的模子-用作基线的“香草”深层神经收集，四种不确定性要领（压差，温度缩放和我们的最后一层要领）和整体要领。

精度（top）和预期的校准偏差（bottom;越低越好），以进步ImageNet-C上数据集移位的强度。我们调查到精确性的低落并没有反应在模子不确定性的增进上，这表白精确性和ECE都变差了。

跟着移位强度的增进，每个模子的差异粉碎要领的精确性毛病会增进（框巨细会增进），这与预期的一样，而且总体上，精确性会降落。抱负环境下，这将反应在模子不确定性增进的环境下，从而使预期的校准偏差（ECE）保持稳固。可是，查察ECE的下部图，就会发明环境并非云云，并且校准凡是也会受到影响。我们调查到了相同的Brier得分和NLL恶化趋势，这表白模子并不会跟着移位而变得越来越不确定，而是必定会变得错误。

一种改造校准的风行要领称为温度缩放，这是Platt缩放的一种变体，个中涉及在实习后行使保持的验证集上的机能来滑腻猜测。我们调查到，固然这种改造了对尺度测试数据的校准，但凡是会使移位的数据变得更糟！因此，应用此技能的从业职员应鉴戒分派偏移。

荣幸的是，一种要领比其他要领更能优雅地低落不确定性。深层合奏（绿色）可以均匀所选模子的猜测值，每个模子具有差异的初始化，这是一种简朴的计策，可以显著进步转换的鲁棒性，而且赛过全部其他测试要领。

择要和保举的最佳实践

在我们的论文中，我们试探了在图像，文本，在线告白数据和基因组学之间的数据集移位下最新模子的举动。在这些差异范例的数据中，我们的发明概略上是同等的。不确定性的质量跟着数据集的移动而低落，可是有缓解该题目的研究要领很有但愿。我们但愿深度学惯用户从我们的研究中得到以下信息：

实习模子时，必需思量数据集移位下的不确定性。

改进漫衍内测试集的校准和精确性凡是不会转化为对移位数据的改造校准。

在我们思量的全部要领中，深度合奏对数据集移位最妥当，而且较小的合奏巨细（譬喻5）就足够了。集成的有用性为改造其他要领提供了风趣的途径。

改进深度进修模子的猜测不确定性如故是呆板进修的活泼规模。我们已经宣布了该基准测试中的全部代码和模子猜测，但愿对社区敦促和评估有关此重要主题的将来事变很有效。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!