让神经网络训练速度加快4倍！谷歌大脑团队提出“数据回送”算法
发布时间：2019-07-23 06:53:47 所属栏目：建站 来源：AI前线小组 译
导读：在摩尔定律的暮色中，GPU 和其他硬件加快器极大地加快了神经收集的实习。可是，实习进程的前期阶段（如磁盘读写和数据预处理赏罚）并不在加快器上运行。跟着加快器的不绝改造，这些前期阶段所耗费的时刻将逐渐成为逊?з度的瓶颈。谷歌大脑团队提出了数据回送
|
图 7 表现了增进数据回送的 shuffle 缓冲区巨细（以增进内存为价钱）的结果。固然之前的全部批回送尝试中没有 shuffle 操纵，但假如一再批处理赏罚被打乱，批回送的机能会进步，而更多的乱序数目会带来更好的机能。同样，样本回送的机能也跟着 shuffle 缓冲区巨细的增进而进步，纵然它对基线没有辅佐。这是由于如第 3.4 节所述，更多的乱序数目低落了每批数据中一再样本的也许性。
图 7 shuffle 水平越高，数据回送的结果越好 3.6 数据回送不侵害示意机能 （编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
