让神经网络训练速度加快4倍！谷歌大脑团队提出“数据回送”算法
发布时间：2019-07-23 06:53:47 所属栏目：建站 来源：AI前线小组 译
导读：在摩尔定律的暮色中，GPU 和其他硬件加快器极大地加快了神经收集的实习。可是，实习进程的前期阶段（如磁盘读写和数据预处理赏罚）并不在加快器上运行。跟着加快器的不绝改造，这些前期阶段所耗费的时刻将逐渐成为逊?з度的瓶颈。谷歌大脑团队提出了数据回送
|
尽量人们也许担忧一再行使数据也许会侵害最终的示意机能，但尝试中没有调查到任何相同环境。为了进一步证明数据回送不会低落办理方案的质量，作者在 LM1B 上行使 Transformer 举办了尝试，在 ImageNet 上行使 Resnet-50 举办了尝试，在牢靠新样本数目下找到最佳可实现机能。图 8 表现了在每个尝试的实习进程中，数据回送在任何一点上都到达了最佳的机能。全部的数据回送变体都至少实现了与两个使命的基线沟通的机能。
图 8 实习中的独立试验到达了最佳结果 4 、结论数据回送是进步硬件操作率的一种简朴计策。尽量先前研究职员担忧一再数据的 SGD 更新是无用的，乃至是有害的。可是对付尝试中的每一项使命，至少有一种数据回送要领可以或许镌汰必要从磁盘读取的样本数目。 数据回送是优化实习流程或特殊上游数据处理赏罚的有用更换方案。尽量实习加快取决于模子布局、数据集、批尺寸以及一再数据的 shuffle 水平，但将回送因子配置为上下流处理赏罚时刻的比率可以最大限度地进步隐藏的加快速率，并在尝试中取得了精采的结果。跟着专业加快器（如 GPU 和 TPU）的改造速率继承高出通用计较的改造速率，数据回送以及相同的计策将成为神经收集实习器材包中越来越重要的构成部门。
（编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
