加入收藏 | 设为首页 | 会员中心 | 我要投稿 河北网 (https://www.hebeiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长百科 > 正文

今天头条超大数据中心表态,英特尔助力AI与大数据

发布时间:2018-09-21 23:21:27 所属栏目:站长百科 来源:雷锋网
导读:数据是人工智能(以下简称AI)技能的燃料,也被比喻为数据经济中的石油。在AI期间,数据的收罗、存储、传输和处理赏罚必要强盛的基本办法作为支撑。数据中心和数万台处事器成为互联网巨头的标配。 8月22日,今天头条与英特尔举行主题为数据赋能,AI正其时的战

数据是人工智能(以下简称AI)技能的燃料,也被比喻为数据经济中的石油。在AI期间,数据的收罗、存储、传输和处理赏罚必要强盛的基本办法作为支撑。数据中心和数万台处事器成为互联网巨头的标配。

8月22日,今天头条与英特尔举行主题为“数据赋能,AI正其时”的计谋相助宣布会,会上,今天头条先容与英特尔相助的超10万台处事器的大局限数据中心,同时两边公布创立技能创新尝试室,在大数据和AI方面举办更久远计谋相助。

4

今天头条建大局限数据中心

这两年,头条系产物用户量增添迅猛,要处理赏罚的数据也是呈指数级增添。

克日头条技能副总裁杨震原先容,今朝,今天头条逐日数据处理赏罚量高出50PB、存储数据高出1500PB、评述体系天天的评述数或许有1亿条,必要大量的处事器来处理赏罚这些内容。

2013年3月字节跳动的处事器数目只有几十台,到年底增至一千台,从此即是上万台的增添。在2017年年头的时辰,公司或许有2-3万台处事器,此刻或许有17万台处事器。

今天头条对大型数据中心的需求是迫切的。杨震原先容道,字节跳动耗费了不到九个月的时刻在怀来建设起了超大局限的数据中心。数据中心投入运营创建了海内多个第一,包罗海内首个大平层预制数据中心,首个整体电源模块预制数据中心,首个大局限漫衍式数据中心,首个间接蒸发冷却模块数据中心。

据以往报道,今天头条在怀来的数据中心是第三方厂商秦淮数据定制的,投资60亿元,首要承载数据存储、发掘说明、应用等数据买卖营业生态系统和云处事生态系统,定位为国度级新媒体企业提供高靠得住性的云计较处事。

字节跳动2016年头开始有新建数据中心的打算,怀来的基本办法相对不完美,可是潜力庞大。2017年12月字节跳动开始在怀来数据中心安排处事器,今朝一期园区约5万台处事器已经投入行使,正在紧邻一期园区建树二期,局限增进一半但估量工期沟通,或许能容纳9万台处事器。

数据中心是互联网巨头的标配,可是也不是一劳永逸的要领。杨震原谈到,“怀来数据中心已经满载运行了,下一步我们还要建树更大局限的数据中心。可是,更大局限的数据中心现实上只是办理扩展性的题目,我们有资源的环境下可以敏捷的扩充资源,支撑我们的营业成长。但将来的挑衅也很是大,我们也不行能完端赖堆资源的方法办理我们的题目。

举一些我们将来的挑衅,好比环球化运营,字节跳动在欧洲、北美、南美、东南亚都有许多产物和用户。环球化运营进程中我们谋面对外洋IDC的建树尚有长间隔传输的挑衅,尤其是我们的保举体系是一个很是紧耦合的布局,这个对我们的挑衅很是大。再好比,数据局限会进一步的扩大,会带来一些计较模式的演进,尚有算法沉淀、贸易模式带来的一些题目。

其它,新硬件的变革,手机移动端和5G收集这些新的变革也许会带来将来计较模式到底是什么样的变革,是不是有更多的计较offload在表面,我们的传输是不是有新的模式去运作,这些题目对我们都有很大的挑衅,并且我们不能都仅仅通过加资源去办理,这就是我们为什么去跟英特尔越发细密的相助,我们但愿不只仅在资源的累积上,而是做更多的创新,更多的算法,我们可以或许给英特尔提出更多的题目,我们一路去相助,这些对象是为了办理我们的挑衅,并且我但愿这些对象可以或许输出给行业,可以或许发动市场的成长,以是这是共赢一个工作。”

AI驱动的环球内容平台

这几年,AI风口正盛,目前日头条正是依赖算法、AI技能快速崛起的新锐AI公司代表。在2016年,今天头条开办人工智能尝试室,旨在敦促人工智能前沿技能研究,让呆板深入领略笔墨、图片、视频、情形场景和用户乐趣,从而促进人类信息与常识交换的服从和深度。首要研究呆板进修、图像辨认、天然说话处理赏罚、语音辨认等AI技能。

据今天头条算法架构师曹欢欢先容,今天头条在今朝在多方面运用AI技能:第一方面是做内容保举的算法,今朝头条、抖音、火山、西瓜都在大量地行使这方面的技能;第二是天然说话处理赏罚,首要用来说明文章内容、用户评述等,对内容保举是很重要的支撑。另外,我们也在用NLP技能做写稿呆板人“Xiaomingbot”;其它是计较机视觉,我们在抖音、火山、FaceU激萌等短视频App上用到了许多的CV技能,譬喻人脸殊效、配景支解、“尬舞机”、内容考核、封面选择、AI剪辑等;最后是语音辨认,这个方面应用还不多,今朝是用在抖音、火山、西瓜里的内容审方面,将视频的语音内容辨认成笔墨,然后操作NLP技能去发明不良内容、恶意营销等。

今天头条这些AI技能研发和落地应用都必要底层力气支持,英特尔为今天头条提供基本架构平台支撑,包罗CDN、智能运维数据体系、计较、存储。在计较方面,今天头条此刻已经全面行使新一代至强可扩展平台,收集传输方面回收英特尔新一代高速网卡,存储方面也大量用到SSD,在底层的开源软件上也有相助。

英特尔助力企业级计较

跟着企业级的计较市场在不绝的成长,云计较、大数据、人工智能、呆板进修技能也在不绝的创新,英特尔正在从以小我私人电脑为中心酿成以数据为中心的公司。

在硬件方案之上,英特尔也在起劲敦促人工智能规模高机能软件器材的开源,今朝全部的主流人工智能软件的框架TensorFlow、Caffe,已经在英特尔的至强平台、英特尔的Nervana神经收集平台上获得很是好的机能的优化,并且英特尔也将把优化全部这些框架行使的器材,MKL-DNN都开源开放给全部的开拓者,可以或许敦促更多、更好的人工智能的软件充实验展英特尔Nervana平台的机能。

今天头条是英特尔助力企业级计较的一个例子。从2013年起,今天头条就与英特尔睁开了相助。2018年,两边在年头签署了创新基金,然后配合创立了创新尝试室,本日一路签署计谋相助备忘录,操作两边的资源上风来引领行业技能成长的趋势。

英特尔与今天头条的计谋相助涵盖数据中心和底层基本架构的硬件和软件优化、市场所作以及乐成案例推广等,包罗大数据说明、人工智能等规模。相助内容详细包罗以英特尔至强可扩展处理赏罚器的计较、基于英特尔3D XPoint技能的存储产物和收集,为今天头条构建和优化数据中心基本办法;并通过AVX2/AVX-512等指令集与软件层的优化,为今天头条的数据说明及人工智能应用赋能,打造全方位的办理方案。

(编辑:河北网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读