英特尔：数据带宽、稀疏性是人工智能芯片面临的两个最大挑战

英特尔的工程师暗示，数据收支处理赏罚器是人工智能芯单方面对的最大挑衅，可是稀少性则也许是一个更大的挑衅。

作者：Tiernan Ray

格林尼治尺度时刻2020年8月17日17:33（东八区尺度时刻01:33）

主题：人工智能

上周，英特尔进行了自2018年以来的初次“架构日”勾当，在此时代，英特尔具体先容了即将上市的芯片，譬喻Tiger Lake。

ZDNet介入了英特尔的环境传递勾当，和该公司的高管们深入交换了一些题目，相识到该公司人工智能处理赏罚事变的一些新环境。

最大的收成是，今朝，最必要优化的处地址于计较逻辑的数据输入和输出方法，由于神经收集模子一连变大，超出了任何芯片的片上存储器的极限。

英特尔的架构认真人Raja Koduri指出：“我们所看到的一件事就是模子局限呈爆炸式增添。” “没有一个节点就可以或许容纳的模子了。”他提到了庞大的深度进修说话模子，譬喻OpenAI最近宣布的GPT-3，它具有1,750亿个参数，每条输入数据都必必要乘以这个权重。

Koduri暗示，尽量“对深度进修加快器的炒作许多，但它们的操作率极低，由于我们正忙于在收集上移动参数数据，由于它们并不合用于1000亿个参数。”

他增补暗示：“纵然是不起眼的Xeon插槽上的万亿次浮点运算和tera-ops，也未能充实操作这些措施。”他暗示，“健忘GPU吧：你将GPU放在哪里，就可以得到10倍的机能。”

英特尔以为，除带宽外，图形处理赏罚单位正在不绝成长，挑衅英伟达对数据中心的锁定，它具有软件开拓情形成熟的上风，这是其他范例的人工智能处理赏罚器无法对抗的。

最终，稀少性成了一个令民气焦而又悬而未决的题目，英特尔正在这方面全力，但今朝并不规划全面披露他们的事变成就。跟着芯片计划方法隐藏深层架构的转变，稀少性正在酿成一个越来越迫不及待的题目。

起首，在数据带宽方面ZDNet向认真数据中心处理赏罚器系统布局的英特尔高级研究员Sailesh Kottapalli提出了一个非经常见的题目：为了针对人工智能晋升焦点操纵机能，差异芯片系统布局最重要的工作是什么？

Kottapalli的答复分成两部门，起首他谈到了包罗英特尔在内的全部芯片供给商的总体优先级。

“在整个行业的硅技能中，最常见的工作是确保线性代数或矩阵运算可以或许以最高的吞吐率和最低的能耗高效地完成。”线性代数组成了大部门人工智能计较周期。它包罗将包括输入数据的向量乘以参数或权重矩阵的计较。

Kottapalli指出，全部芯片，无论回收哪种架构，都致力于加快“矩阵-矩阵”操纵和“矢量-矩阵”操纵。他暗示：“这是哪里的首要计较情势。”

另一个大趋势是存眷差异的精度，即单个给定操纵数行使的位数，8位、16位、32位等。

“任何盼愿在人工智能方面示意精彩的架构都将在全部架构中成为最新技能，由于人工智能是一种新的计较方法。”

他说，下一个前沿将是芯片输入输出方面的前进。

Kottapalli暗示：“在那之后，现实上的重点就在于你怎样优化带宽、缓存，以切实优化你必要移动的数据量。”

“由于此刻已经到了这样一个点，真正的能源服从并不由计较中的内容抉择，而是取决于你怎样将数据转移到计较之中。”英特尔的每一个竞争敌手（包罗Graphcore、Cerebras Systems和Tenstorrent）城市夸大神经收集正在变得越来越大这一趋势。并且，虽然，英伟达也谈到了这些巨型神经收集，并将其作为该公司最新产物Ampere的首要需求身分。不少人工智能学者们也谈到了这一趋势。

“因此，环绕它举办的创新将越来越多，然后是你必要运行的数据集现实存放的位置，以及你将其送去计较的服从。”

架构认真人Koduri增补暗示：“我们在大客户哪里看到的究竟很清晰，除了增进FLOP密度和OP密度，他们还但愿晋升每个插槽的I/O手段。”

他暗示：“这有点猖獗，”客户但愿将多个PCIe毗连到一个CPU插槽上。“它就会爆炸了。”

英特尔副总裁Hong Hou率领的毗连部分认真应对市场上激增的互联需求，该公司打算用更大的带宽来办理这个题目。Koduri 在谈到Hou 的部分时暗示，“对付他们来说，这是一个黄金期间。”

Hou暗示：“我们越来越熟悉到I/O也许成为一个很是严峻的瓶颈。”

Hou指出，一个日益重要的偏向将是实现从计较机电路板处处理赏罚器的光纤毗连。他暗示：“我们已经接头过将硅光子与芯片更细密地集成在一路。”Hou暗示：“我们有更多的自由来计划最节能的高密度放大计策以支持人工智能集群。”

英特尔夸大的另一个要素是软件，尤其是软件的同等性和支持题目。

ZDNet与英特尔高级研究员David Blythe和副总裁Lisa Pearce举办了攀谈，后者认真该公司的图形处理赏罚部分。当被问及怎样对待来自Cerebras Systems和Graphcore等新兴公司广泛的品评时，他们两小我私人都以为GPU对付人工智能处理赏罚来说并不抱负。

Blythe暗示，“老是存在着应该有抱负硬件的观点，可是应用措施并不是只在抱负硬件上单独运行的，它们必要完备的生态体系和软件仓库。”他暗示，成熟的软件仓库是GPU的上风。出格是在计较机必需支持殽杂事变负载的时辰，环境更是云云。

“我们正在全力实行的工作是操作成熟的软件仓库，使编程变得越发轻易。”

Blythe体现了英特尔在稀少性方面所做的事变。稀少性是指在向量矩阵运算中，向量中的很多（凡是是大大都）值都是空置魅这一究竟。导致人们品评GPU挥霍能量的缘故起因是，当将很多向量组合在一路以得当GPU的内存机关时，GPU无法疏散出零值项目。Blythe暗示，稀少性方面的事变“正在举办”。

可是另一位英特尔研究员——认真英特尔尝试室营业的Rich Uhlig对此事举办了具体声名。

Uhlig暗示：“神经收集模子正在从麋集向稀少暗示的偏向成长，你将得到一种有用的算法。” Uhlig暗示：“这为架构带来了完全差异的压力。”

Uhlig增补暗示：“我们正在试探的一些架构是但愿可以或许辅佐你殽杂操作麋集架构和稀少架构，以此得到更好的结果。” Uhlig暗示：“这不只与内存有关，还与毗连有关，以及算法怎样操作这种稀少性。”

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!