腾讯AI Lab开源首款自动化模子压缩框架：将深度进修装口袋

腾讯 AI Lab 呆板进修中心今天公布乐成研发出天下上首款自动化深度进修模子压缩框架——PocketFlow，并即将在近期宣布开源代码。这是一款面向移动端 AI 开拓者的自动模子压缩框架，集成了当前主流（包罗腾讯 AI Lab 自研）的模子压缩与逊?с法，团结自研超参数优化组件实现了全程自动化托管式的模子压缩与加快。

开拓者无需相识详细算法细节，即可快速地将 AI 技能陈设到移动端产物上，实现用户数据的当地高效处理赏罚。今朝该框架正在为腾讯的多项移动端营业提供模子压缩与加快的技能支持，在多款手机 APP 中获得应用。

1. PocketFlow 配景

跟着 AI 技能的飞速成长，越来越多的公司但愿在本身的移动端产物中注入 AI 手段，以优化用户行使体验。以深度进修为代表的 AI 技能极大地晋升了图像领略、语音辨认等诸多应用规模中的辨认精度，可是主流的深度进修模子每每对计较资源要求较高，难以直接陈设到斲丧级移动装备中。常用的办理方案是将伟大的深度进修模子陈设在云端，移动端将待识此外数据上传至云端，再守候云端返回辨认功效，但这对收集传输速率的要求较高，在收集包围不佳地域的用户行使体验较差，同时数据上传至云端后的隐私性也难以担保。

在这种环境下，浩瀚模子压缩与加快算法应运而生，可以或许在较小的精度丧失（乃至无损）下，有用晋升 CNN 和 RNN 等收集布局的计较服从，从而使得深度进修模子在移动端的陈设成为也许。可是，怎样按照现实应用场景，选择吻合的模子压缩与加快算法以及响应的超参数取值，每每必要较多的专业常识和实践履历，这无疑进步了这项技能对付一样平常开拓者的行使门槛。

在此配景下，腾讯 AI Lab 呆板进修中心研发了 PocketFlow 开源框架，以实现自动化的深度进修模子压缩与加快，助力 AI 技能在更多移动端产物中的普及应用。通过集成多种深度进修模子压缩算法，并创新性地引入超参数优化组件，极大地晋升了模子压缩技能的自动化水平。开拓者无需参与详细的模子压缩算法及其超参数取值的选取，仅需指定设按祈望的机能指标，即可通过 PocketFlow 获得切合需求的压缩模子，并快速陈设到移动端应用中。

2. AI Lab 在 PocketFlow 上的研究盼望

近期，AI Lab 呆板进修中心在深度进修模子压缩以及超参数优化算法方面一连投入，并取得了诸多研究盼望。在模子压缩算法方面，团队提出了一种基于鉴别力最大化准则的通道剪枝算法，在机能根基无损的条件下可以大幅度低落 CNN 收集模子的计较伟大度，相干论文颁发于 NIPS 2018 [1]。该算法在实习进程中引入多个特另外丧失项，以晋升 CNN 收集中各层的鉴别力，然后逐层地基于分类偏差与重构偏差最小化的优化方针举办通道剪枝，去除鉴别力相对较小的冗余通道，从而实现模子的无损压缩。在超参数优化算法方面，团队研发了 AutoML 自动超参数优化框架，集成了包罗高斯进程（Gaussian Processes, GP）和树形布局 Parzen 预计器（Tree-structured Parzen Estimator, TPE）等在内的多种超参数优化算法，通过全程自动化托管办理了人工调参耗时耗力的题目，大幅度晋升了算法职员的开拓服从。

另一方面，思量到深度进修模子的实习周期广泛较长，团队对基于 TensorFlow 的多机多卡实习进程举办优化，低落漫衍式优化进程中的梯度通讯耗时，研发了名为 TF-Plus 的漫衍式优化框架，仅需十几行的代码修改即可将针对单个 GPU 的实习代码扩展为多机多卡版本，并取得靠近线性的加快比。另外，团队还提出了一种偏差赔偿的量化随机梯度降落算法，通过引入量化偏差的赔偿机制加速模子实习的收敛速率，可以或许在没有机能丧失的条件下实现一到两个数目级的梯度压缩，低落漫衍式优化中的梯度通讯量，从而加速逊?з度，相干论文颁发于 ICML 2018 [2]。

在 PocketFlow 框架的开拓进程中，团队插手了对上述多个自研算法的支持，而且有用低落了模子压缩的精度丧失，晋升了模子的实习服从，并极大地进步了超参数调理方面的自动化水平。

3. PocketFlow 框架先容

PocketFlow 框架首要由两部门组件组成，别离是模子压缩/加快算法组件和超参数优化组件，详细布局如下图所示。

开拓者将未压缩的原始模子作为 PocketFlow 框架的输入，同时指按祈望的机能指标，譬喻模子的压缩和/或加快倍数；在每一轮迭代进程中，超参数优化组件选取一组超参数取值组合，之后模子压缩/加快算法组件基于该超参数取值组合，对原始模子举办压缩，获得一个压缩后的候选模子；基于对候选模子举办机能评估的功效，超参数优化组件调解自身的模子参数，并选取一组新的超参数取值组合，以开始下一轮迭代进程；当迭代终止时，PocketFlow 选取最优的超参数取值组合以及对应的候选模子，作为最终输出，返回给开拓者用作移动端的模子陈设。

详细地，PocketFlow 通过下列各个算法组件的有用团结，实现了精度丧失更小、自动化水平更高的深度进修模子的压缩与加快：

a) 通道剪枝（channel pruning）组件：在 CNN 收集中，通过对特性图中的通道维度举办剪枝，可以同时低落模子巨细和计较伟大度，而且压缩后的模子可以直接基于现有的深度进修框架举办陈设。在 CIFAR-10 图像分类使命中，通过对 ResNet-56 模子举办通道剪枝，可以实现 2.5 倍加快下分类精度丧失 0.4%，3.3 倍加快下精度丧失 0.7%。

b)权重稀少化（weight sparsification）组件：通过对收集权重引入稀少性束缚，可以大幅度低就逮络权重中的非零元素个数；压缩后模子的收集权重可以以稀少矩阵的情势举办存储和传输，从而实现模子压缩。对付 MobileNet 图像分类模子，在删去 50% 收集权重后，在 ImageNet 数据集上的 Top-1 分类精度丧失仅为 0.6%。

c)权重量化（weight quantization）组件：通过对收集权重引入量化束缚，可以低落用于暗示每个收集权重所需的比特数；团队同时提供了对付匀称和非匀称两大类量化算法的支持，可以充实操作 ARM 和 FPGA 等装备的硬件优化，以晋升移动端的计较服从，并为将来的神经收集芯片计划提供软件支持。以用于 ImageNet 图像分类使命的 ResNet-18 模子为例，在 8 比特定点量化下可以实现精度无损的 4 倍压缩。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!