第四范式推出业界首个基于持久内存、支持毫秒级恢复的万亿维线上预估系统
|
线上预估处事是AI在企业应用落地的要害环节，企业凡是会回收漫衍式计较架构在内存中完成及时数据处理赏罚和高达万亿维的模子特性存储，并通过多集群副本办理传统纯内存（DRAM）生成的易“失”性隐患，以到达线上及时处事质量（Quality of Service）结果。然而，跟着企业AI应用模子巨细和数目的增添，线上预估处事所必要的硬件资源也呈几许倍数增进。 为进一步满意企业线上预估需求，第四范式定制开拓了基于耐久内存技能、支持及时规复的万亿维线上预估体系，为企业提供高可用性、毫秒级规复的在线预估处事，同时将企业总拥有本钱低落80%。该体系基于第四范式AI算力平台SageOne的耐久内存举办了软硬一体计划，与其他预估体系对比，可实现每秒亿级KV查询的高机能，并可以或许与第四范式自研的高维呆板进修框架以及TensorFlow等AI开源框架无缝对接。担保了在线预估处事无论在产生物理妨碍可能措施瓦解的环境下，均具备毫秒级妨碍及时规复特征，是企业低本钱实现高可用AI线上预估处事的最佳选择。 第四范式自研的基于耐久内存的万亿维级参数处事器——HyperPS是该线上预估体系的要害基本组件。HyperPS参数处事用具备高机能底层序列化框架、链路共享、多级访存优化、双端参数归并及动态扩缩容等特征。基于耐久内存计划和优化后，HyperPS在保持与基于纯内存参数处事器险些同等机能的同时，揭示出在线上预估应用中数据及时规复和应用本钱低的庞大上风。 耐久内存加持 参数处事器机能进级 参数处事器凡是将全部数据放在纯内存中处理赏罚，AI模子越大，漫衍式参数处事器的内存需求越大。另外，纯内存固然机能优越，但因其易失性（volatile）特征，一旦硬件可能软件产生妨碍，内存丢失的所稀有据必需从耐久性存储装备（HDD/SSD）中读取日记规复，规复速率慢，严峻影响线上机能处事质量。 耐久内存的大容量、高机能、非易失性属性，为其带来了高安详性、低本钱等上风，改进了今朝纯内存容量小、本钱高、灾备规复慢等题目。针对耐久内存这些应用利益，第四范式针对HyperPS参数处事器的底层体系架构和存取机能等举办了软硬一体计划。起首，针对节点内的shard从头计划了新的存储引擎，回收耐久化哈希表为底层数据布局储存特性，担保高并行度机能的同时，对耐久内存数据组织名目举办优化，到达靠近于纯内存哈希表的机能；其次，对参数处事器劫难规复机制调优，行使耐久化智能指针记录哈希表的焦点数据布局和根指针，实现业界创始的参数处事器及时规复手段；再次，操作PMDK的transaction机制，行使pmempool分派和打点耐久内存空间，确保耐久内存数据同等性；最后，针对影响机能的耐久化操纵举办计策性的低落，进一步进步机能。 在现实测试情形中，基于耐久内存的HyperPS示意出更低的拥有本钱和庞大的及时规复上风，以及与纯内存近乎同等的机能示意。 01、企业AI应用内存预估： AI为企业带来出众的营业结果，同时企业也要包袱AI发生的本钱压力，出格是当AI局限化应用时。以某闻名手机终端厂商为例，别离回收配备384GB纯内存处事器和配备2TB耐久内存的处事器为预估单节点基准。每上线一个模子在在纯内存的参数处事器上占用内存空间或许是128GB。基于耐久内存的数据布局因为其有特另外耐久化逻辑，在空间伟大度上会略高于纯内存数据布局，其空间占用或许是204GB。在此基本上，估算企业上线1-100个模子参数处事器所需的纯内存物理节点数和配备耐久内存的物理节点数目。
从预估功效来看，企业必要回收耐久内存的物理节点数目和纯内存的物理节点数目比为1:3.4-4，而耐久内存的参数处事器总本钱最多降落80%。 02、数据规复速率测试： 当体系节点呈现妨碍时，回收纯内存的参数处事器必要从数据存储集群（如HDFS）从头申请模子参数数据规复，耗时长，严峻影响线上处事质量。回收耐久内存的HyperPS则完全差异，节点产生妨碍可能措施瓦解后，数据依然生涯在耐久内存中，处事重启后只必要挪用优化过的数据同等性搜查函数，即可实现毫秒级及时规复。
规复20个模子总计12亿维参数测试中，纯内存参数处事器数据规复时刻跟着数据总量增进而大幅增添，而耐久内存的参数处事器险些没有受到影响，只需搜查哈希表元数据后即可提供处事，其规复时长收缩17114倍。 03、预估机能测试： HyperPS不只大幅低落了总拥有本钱并晋升数据规复速率，也揭示出和纯内存模式下同水准的机能示意。在非高压（1个哀求线程）和高压（56个并发哀求线程）的环境下的哀求耽误（TP99）。功效表白，基于耐久内存的HyperPS参数处事器在耽误上，与回收纯内存的参数处事器机能临近。单线程和56线程两个测试中，耐久内存的参数处事器均仅比回收纯内存的参数处事器耽误多1毫秒。 在吞吐机能比拟测试项目中，基于耐久内存的参数处事器在56线程的高压负载测试中的QPS仅比纯内存参数处事器低3.5%。 此次，通过 “软件界说算力”的全新方法，第四范式将自研HyperPS万亿维参数处事器与英特尔傲腾耐久内存举办软硬一体优化计划，担保线上推理处事超高机能的同时，大幅低落企业AI整体投入本钱，晋升线上处事质量，进一步扫清了企业AI局限化应用的提高障碍。 （编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
