本文经AI新媒体量子位（公家号ID:QbitAI）授权转载，转载请接洽出处。

实习神经收集，硬件要过硬？此刻谷歌提出强有力辩驳。

GPU和像谷歌TPU这样的硬件加快器大大加速了神经收集的逊?з度，推助AI敏捷生长，在各个规模施展超手段。

然而，硬件成长再敏捷，也总有力有不逮的时辰。

好比，因为芯片的架构方法，像数据预处理赏罚这样的实习pipeline早期阶段并不会受益于硬件加快器的晋升。

谷歌大脑的科学家们可不但愿看到算法掣肘硬件，于是他们研究出了一种名为“数据回放（Data Echoing）”的新技能。

加快神经收集逊?з度，这回不靠折腾半导体。

Data Echoing的黑科技

新的加将近领的焦点在于镌汰实习pipeline早期阶段耗损的时刻。

凭证经典的实习pipeline，AI体系先读取并解码输入数据，然后对数据举办混洗，应用转换扩凑数据，然后再将样本网络到批处理赏罚中，迭代更新参数以镌汰偏差。

而Data Echoing是在pipeline中插入了一个阶段，在参数更新之前一再前一阶段的输出数据，理论接纳空闲算力。

假如一再数据的开销可以忽略不计，而且echoing恣意侧的阶段都是并行执行的，那么数据回放完成一个上游步协调e个下流步调的均匀时刻就是：

假设上游步调耗费的时刻大于便是下流步调耗费的时刻，你会发明附加的下流步调是“免费”的，由于它们操作了空闲的下流容量。

data echoing收缩实习时刻的要害在于上游步协调下流步调之间的衡量。

一方面，一再数据的代价也许会比新数据的代价低，那么data echoing就必要更多的下流SGD（随机梯度降落）更新来到达预期机能。

另一方面，data echoing中每个下流步调仅必要1/e个上游步调。

假如下流步调因回放因子而增进的数目比e小，那么上游步调的总数就会镌汰，总的实习时刻也就镌汰了。

必要留意的是，有两个身分会影响在差异插入点处data echoing的示意：

在批处理赏罚前回放（echoing）

在批处理赏罚之前回放意味着数据是在样本级别而不是批处理赏罚级别一再和混洗的，这增进了邻近批次差异的也许性，价钱是批次内也许会有一再的样本。

在数据扩增前回放

在数据加强之前举办回放，一再数据就也许以差异的方法转换，这样一来一再数据就会更像新数据。

结果怎样

研究团队对这一要领举办了尝试，他们选择了两个说话模子使命，两个图像辨认使命和一个工具检测使命，AI模子都是用开源数据集实习的。

尝试中，“新”实习样本（实习样本从磁盘中被读取出来，就算做一个新的样本）的数量到达指定方针的时刻就算作实习的时长。同时，研究职员也会观测data echoing是否镌汰了所需的样本数目。

除了用ImageNet实习的ResNet-50，data echoing的服从都比基线要领服从高。而且更早地在pipeline中插入echoing，逊??需的新样本会更少。

而跟着批量巨细的增进，data echoing相对付基线要领的改造会越发明明。

摩尔定律的薄暮

跟着摩尔定律走向终结，要依赖芯片制造工艺的打破来实现人工智能算力的晋升越来越坚苦，固然有硬件加快器加持，但CPU这样的通用处理赏罚器依然成为了神经收集逊?з度进一步晋升的拦路虎。

另辟门路，以算法机能来打破重围，正在成为New sexy。

论文地点：https://arxiv.org/abs/1907.05550

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!