将AI打造成处事 英特尔与金山云怎样软硬协作

出乎料想，在金山云联袂英特尔推出的“AI as a Service”新办理方案中，提供硬件平台的，不是英特尔而是金山云；认真软件优化的，也不是金山云却是英特尔。

造成这样“软硬脚色”固化的，是赛扬、酷睿、至强等一系列硬件产物的强盛，使我们不曾留意到，原本英特尔有一个高出15000人的软件工程师团队。同样，对并不相识云计较市场的人士，金山壹贝偾一家软件公司罢了。殊不知，其团体旗下的金山云，早已跻身中国公有云市场前三甲。

从云计较的成长成熟到现在AI鼓起，金山云与英特尔一向保持着细密相助。面临当下企业的“AI应用热、AI应用难”征象，两边则通过将IaaS层的基本办法与优化版的TensorFlow和Caffe框架组合，提供了“AI as a Service”新型有用的办理方案，不只有用进步了运行服从，还在进级处事的同时低落本钱，实现资源的优化设置。而AI as a Service新办理方案的呈现也绝非偶尔……

变化多端的市场需求

毫无疑问，人工智能的火热，使得企业要么已经陈设了AI，要么在赶往AI的陈设之路上，英特尔与金山云也不绝从各自善于的层面满意着企业日益增添的AI需求。

从至强E5系列到至强可扩展再到最新的二代至强可扩展处理赏罚器，英特尔所提供的数据中心级处理赏罚器除主频、核数的进步外，同时引入AVX-512、VNNI加快指令集、DAAL、nGraph等库组件或编译器，从软件角度晋升深度进修、呆板进修等高密度计较负载时所需的单精度浮点数手段。

金山云则借助这些不绝进级的数据中心级处理赏罚器，与内存、收集等模块适配、团结、优化，晋升整体架构的不变性及机能，为用户提供越发合用AI场景的云主机平台。

另外，在AI场景上，英特尔所做的软件事变，除对底层指令集、库组件及编译器的优化外，同时也优化了对TensorFlow、Caffe、MXNet等深度进修开源框架的支持，通过借助MKL-DNN焦点数学加快库技能，充实挪用AVX-512指令集，以支持该场景下较为广泛的计较机视觉、语音辨认、天然说话处理赏罚等应用。

不难发明，从底层云平台办法到开源框架优化，金山云与英特尔着实已为AI场景提供了有用支撑，但在“AI as a Service”新办理方案推出之前，这一系列事变却没能完全满意用户日益多样化的需求。

从用户角度而言，尽量各行各业大巨微小的公司都在应用AI，但即即是互联网公司，在陈设金山云的硬件平台后，因为并不具备响应的深度框架优化手段，平台的机能并不能获得充实验展。据英特尔相干技强职员先容，“我们此前也碰着过一些互联网公司，做人脸辨认，固然也是在至强可扩展处理赏罚上作陈设，用了Caffe，但现实得到的机能并不抱负”。“而基于我们与金山云恒久在营业上现实的交换以及针对现实案例做调优蕴蓄的履历，我们可以协力辅佐客户在金山云的云主机上针对深度进修的框架举办创新与调优。”

而这，也是困扰金山云的题目。“客户早年买我们的云主机拿去做计较，会反应CPU行使没有到达预期，但再怎么加压也跑不上去了，继而直观判定整个云主机的处理赏罚手段已经到达上限了”，金山云计较研发总监杨峰说。在这样的环境下，企业若想完成整个模子的进修或实习，只能陈设更多的呆板，可能，寻求英特尔提供框架优化上的辅佐。

对英特尔而言，因为金山云客户浩瀚，针对每一个客户安装优化过的TensorFlow和Caffe，对其技强职员也是一项挑衅。

1+1>2的“黄金”办理方案

“既然金山云有主机，英特尔有优化过的开源框架，何不将这些优化预置在云主机上，做一套牢靠的实例办理用户的题目呢？”英特尔提出。这一方案很快被金山云承认，两边一拍即合。这，即是“AI as a Service”新办理方案。

在实质上，英特尔与金山云将该方案定位为IaaS加强型处事。对比传统IaaS，该方案在计较、内存、收集基本办法上增进了框架层，同时又没有PaaS层过多的API、SDK接口封装。这使得企业在做AI应用时无需存眷底层办法与框架的陈设，将更多资源、精神投入营业场景，同时可在优化好的TensorFlow和Caffe上按照自身需求机动开拓。

而这样的办理方案，使得企业AI应用的机能、本钱、服从及体验得到全方位晋升。这样带来的结果则是：营业处理赏罚机能并非简朴的线性增添，而是2倍、3倍，乃至10倍、20倍的晋升。 “这意味着跑沟通模子，此前也许必要10台、20台主机才气完成的事变，在同样的时刻下仅必要1台即可，机能的大幅晋升天然意味着本钱的缩减。”

测试一：TensorFlow机能比拟测试

测试二： Caffe机能比拟测试

同时，对付高并发的模子实习及要求及时性的互联网、金融等两类典范AI营业，金山云与英特尔联袂打造的“AI as a Service”新办理方案也可满意响应的服从、时延需求。

将来不止于此

将来，英特尔的软件优化团队将通过更多Deep Learning Boost指令集、Intel Nauta体系方案等计策，以全栈式的软件优化加快AI应用。金山云继承以第一时刻适配英特尔至强可拓展系列处理赏罚器、傲腾数据中心级耐久内存等硬件，打造机能、本钱、不变性分身的AI应用平台。两边将以硬件平台的不绝进级适配与软件层的不绝优化，助力AI由鼓起走向成熟。

注：

测试一测试二均基于金山云N3实例上，行使三台VM：

VM1（蓝色）：24vCPU，安装默认版本的TensorFLow和Caffe；

VM2（橙色）：24vCPU，安装优化版本的TensorFLow和Caffe；

VM3（灰色）：16vCPU，安装优化版本的TensorFLow和Caffe。

在测试一中，针对三个差异设置的VM，别离运行以下4个测试case：

（1）运行batch size为1的resnet50 inference

（2）运行batch size为1的inception3 inference

（3）运行batch size为1的ssd_mobilenet inference

（4）运行batch size为256的wide_deep 测试，测试基于 movielens-1M数据集

在测试二中，针对三个差异设置的VM，别离运行以下4个测试case：

（1）运行batch size为1的resnet50前向撒播测试

（2）运行batch size为1的inception3前向撒播测试

（3）运行batch size为1的ssd-mobilenet前向撒播测试

（4）运行batch size为1的resnext50前向撒播测试

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!