加入收藏 | 设为首页 | 会员中心 | 我要投稿 河北网 (https://www.hebeiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

让神经网络训练速度加快4倍!谷歌大脑团队提出“数据回送”算法

发布时间:2019-07-23 06:53:47 所属栏目:建站 来源:AI前线小组 译
导读:在摩尔定律的暮色中,GPU 和其他硬件加快器极大地加快了神经收集的实习。可是,实习进程的前期阶段(如磁盘读写和数据预处理赏罚)并不在加快器上运行。跟着加快器的不绝改造,这些前期阶段所耗费的时刻将逐渐成为逊?з度的瓶颈。谷歌大脑团队提出了数据回送

批处理赏罚前或批处理赏罚后的回送: 批处理赏罚前的回送是指数据在样本级别而不是批级别举办一再。这样增进了相邻批次差异的也许性,但价钱是不能复制一批内的样本。批处理赏罚前回送的算法称为 样本回送(example echoing),批处理赏罚后回送的算法称为 批回送(batch echoing)。

数据加强前或数据加强后的回送: 数据加强前的回送应承一再数据举办差异的转换,能使一再数据更靠近新数据。

数据回送的示意也受回送阶段后 shuffle 水平的影响。在合用的环境下,作者将 shuffle 作为缓冲区。缓冲区越大,shuffle 水平越高,逊?с法可以或许近似于将整个实习集加载到内存中。

3、 尝试

(编辑:河北网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读