谷歌工程师：AI 的“指数式增添”正在改变计较的本质

原问题：谷歌工程师：AI 的“指数式增添”正在改变计较的本质

编者按：Google软件工程师Cliff Young表明白深度进修的发作是怎样与摩尔定律的解体同时产生的。计较机芯片成长这条连续了数十年的履历法例的休业导致了全新的计较机计划的降生，而对AI计较手段需求的指数式增添在呼喊新的“超等摩尔定律”的呈现。ZDnet的一篇文章先容了Google AI芯片的盼望环境。

AI与呆板进修的发作正在改变计较的本质，这是AI的最大参加者之一Google提出来的说法。

Google软件工程师Cliff Young最近在Linley Group Fall Processor Conference上颁发了主旨演讲，这是一个很是风行的计较机芯片学术集会会议，由知名的半导体说明机构The Linley Group主办。

Young说，AI的行使已经进入“指数式阶段”，而与此同时，已一连数十年的关于半导体成长的履历法例——摩尔定律却已经裹足不前。

他对此陷入了思索：“时刻变得有点神经质。数字CMOS正在放缓，我们看到英特尔在10纳米芯片出产商的不景气，我们看到GlobalFoundries放弃了7纳米工艺的研发，，与此同时深度进修却在风起云涌地成长，催生了经济需求。”CMOS是互补金属氧化物半导体的简称，这对象是计较机芯片最常见的原料了。

Young指出，跟着传统芯片全力想要实现更大的机能和效能，来自AI研究职员的需求却在飙升。他罗列了一些数据：在arXiv预打印处事器（由康奈尔大学维护）上罗列的关于呆板进修的学术论文数目此刻每18个月就翻了1番。他还说，Google内部聚焦AI的项目数也是每18个月就翻了1番。跑呆板进修神经收集所需的浮点运算的数目增添速率更快，险些每3个半月就翻了1番。

Young说，对计较需求的全部这些增添均可归结为一条“超等摩尔定律”，这是一个被他称为“有点可怕”也“有点伤害”且“值得担忧”的征象。

他问道：“为什么会呈现这些指数式增添？部门是由于深度进修收效了。很长一段时刻以来，我在事变中对呆板进修一向都视而不见。由于这些对象能不能做成一向不是很明晰。”

可是像图像辨认之类的打破不绝敏捷涌现，他说显然深度进修已经变得“极其高效。已往5年大部门时刻里我们一向都是一家AI优先的公司。基于此我们重建了自身大部门的营业。”——从搜刮到告白营业等。

Young说，对Google Brain团队的需求导致AI的研究转到了“巨型机（gigantic machines）”的研发偏向。例如说，神经收集偶然辰要通过陈设的“权重”（指应用到神经收集用以塑造数据哄骗的变量）数目来权衡。

尽量必要计较的这样的权重传统神经收集也许稀有十以致数百万个之多。但Google的科学家却说“请给我们一台可计较TB（万亿）级别权重的呆板。”这是由于“每次你把神经收集的局限翻番时，我们就能得到准确度上的改造。”越大越大此刻是AI的法则。

虽然，为了相应这一需求，Google一向在开拓自家的呆板进修芯片，“Tensor Processing Unit”。呈现对TPU之流的需求是由于传统CPU和GPU已经跟不上AI的成长步骤。

Young说：“很长一段时刻以来，我们都说英特尔和Nvidia简直很善于制作高机能体系。不外5年前我们已经打破了这一阈值。”

TPU在2017年的初次呈现引起了一番纷扰，由于制造者宣称其机能要比传统芯片越发精彩。Google此刻已经迭代到第三代的TPU，今朝正在内部行使，而且通过Google Cloud提供按需计较节点。

公司不绝地造出越来越大的TPU实例。其“pod”设置一共绑缚了1024台TPU，组装出了一种全新的超等计较机，Young说，Google规划“继承扩大该体系的局限”。

他说：“我们正在制作的这些复杂的计较机体系计较到达了数十PB。我们正在从各个偏向不懈地敦促盼望，TB级的计较还在不绝攀升。”

他嗣魅这类工程计划“引出了全部这些超等计较机计划上的题目。”

例如说，Google工程师已经回收了传奇超等计较机公司Cray的计划能力。他们组合出了一个“复杂的矩阵乘法单位，”芯片的这个部门包袱了神经收集计较的首要事变，设置了“一个通用的向量单位”与“通用的标量单位”，就像Cray的一样。他调查到：“标量与向量单位的团结让Cray做得比比别人都好。”

Google已经开拓出自家新奇的算法结构来对芯片举办编程。有个对象叫做“bfloat16”，这是一种暗示实数的本领，在神经收集的数字处理赏罚方面能提供更高的服从。俗称为“脑浮点数”。

TPU操作了最快的内存芯片，所谓的高带宽内存，可能HBM。他说，在实习神经收集方面临内存容量的需求呈现了飙升。

他说：“内存在实习方面要麋集得多。各人都接头到数亿的权重，但处理赏罚神经收集变量的激活也是个题目。”

Google还在调解对神经收集编程的方法以便最大限度地操作硬件。 “我们在数据和模子并行机制方面做了大量事变，”例如说 “Mesh TensorFlow”之类的项目就回收了该公司的TensorFlow编程框架“将数据与模子并行机制以pod的局限举办团结。”

不外个中的一些技能细节Young并不肯透露。他指出该公司对“互连（interconnects，数据在芯片内部的移动方法）”谈得还不多，只是说“我们有复杂的毗连器。”他拒绝提供更多信息，激发了听众的笑声。

Young还指出了计较规模其他一些越发迷人的处所，并称着实现并不迢遥。例如说，他提出通过模仿芯片来举办计较。模仿芯片可以将输入作为持续值而不是0与1来举办处理赏罚，这种做法有望饰演重要脚色。“大概我们可以从模仿域取取经，在物理上有一些很是酷的对象，好比模仿计较，可能非易失性技能。”

他对与会的一些芯片初创企业提出了缔造出新技能的但愿。“有一些很是酷的初创企业，我们必要他们的事变，由于数字CMOS只能带我们去到那么远了；我但愿投资能放到他们身上。”

原文链接：http://www.zdnet.com/article/google-says-exponential-growth-of-ai-is-changing-nature-of-compute/

编译组出品。编辑：郝鹏程。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!