焱融科技联袂科大讯飞 YRCloudFile迈入IO500 Top6队列

11月18至21日，代表高机能计较和存储行业最高程度的年度盛会SuperComputing 2019在美国丹佛进行，与计较机能Top500榜单相对安稳的排名和趋势对比，IO500榜单的竞争显得非常剧烈。焱融科技本次联袂科大讯飞基本架构团队，在焱融科技YRCloudFile的基本之上，举办了大量创新性开拓和调优，最终提交的IO500十节点机能测试数据在剧烈的比拼中位列环球第六。相对付上半年的后果，存储机能有了400%的晋升。这次连系测试的乐成履历，符号着焱融科技与海内顶级人工智能企业在技能攻关进程中取得了较大打破。

从宣布的功效上看，焱融科技本次测试的功效比上半年晋升了4倍。这得益于焱融科技前期与科大讯飞的细密雷同，让我们对人工智能这种必要高机能存储支持的典范场景有了更深入的领略。在此基本上，两边工程师做了针对性的开拓和优化，从而得到了满足的后果。

在《最新环球IO500名单出炉，焱融云跻身存储厂商Top10》一文中，我们对IO500做了根基的先容，许多客户和偕行对IO500示意出凶猛的乐趣。在此我们再深度分解一下IO500，进而相识为何浩瀚高机能存储和计较的行业率领者对该榜单都高度存眷的缘故起因。

总的来说，IO500十节点测试共包括了12项测试使命，测试限定在10个客户端上执行，评估总体集群的机能示意。这12项测试模仿了各类或简朴或苛刻的IO场景，涉及数据吞吐、元数据等方面操纵。以下我们按执行次序来看这些测试使命的寄义，并说明这些测试背后对应的现实应用场景：

1）ior_easy_write:

多个客户端、多个使命、并发地、次序地、独立地向存储集群中写数据，这一项首要测试存储集群的写入手段。默认每个使命写入9.9TB，200个使命会写入PB级的数据，这个测试模仿了传统HPC写入麋集型应用场景。

2）mdtest_easy_write：

多个客户端、多个使命、并发地、独立地向存储集群中建设大量空文件，每个使命独有一个目次，这一项首要测试存储集群元数据的处理赏罚手段。默认每个使命写90万文件，200个使命共写入1.8亿文件。这个测试模仿了新兴的人工智能场景中写入海量文件的场景，偏重于元数据机能的测试。

3）ior_hard_write：

多个客户端、并发地、共享地写统一个文件，每个使命每次写的数据量是47008 Bytes，这一项首要测试协同写单个文件。默认每个使命要写190万次，每次写47008 Bytes。这一测试模仿的是传统HPC场景，多个计较使命同时更新统一个文件时，文件体系锁以及并发写入的手段。

4）mdtest_hard_write：

多个客户端、并发地建设大量文件，建设文件后，会写3901Bytes数据，全部使命的文件都写到统一个目次下。默认每个使命写95万文件，200个使命共写入1.9亿文件。这个测试也是模仿新兴的人工智能场景中写入海量文件的场景，与mdtest_easy_write偏重元数据机能测试差异的是，mdtest_hard_write会同时考查文件体系数据写入的手段。

5）find：

对前面建设的大量文件去做find查询，考查海量文件下，基于尺度POSIX语义的文件体系查询机能。

6）ior_easy_read：

多个客户端、多个使命、并发地、次序地读取本身在ior_easy_write阶段写入的数据。该测试模仿传统HPC场景中，多客户端并发读取数据的进程。

7）mdtest_easy_stat：

多个客户端、多个使命、并发地去stat本身在mdtest_easy_write阶段建设的空文件，这个测试模仿人工智能等应用，在海量文件场景下对文件体系最常用的stat操纵机能（文件体系的大量操纵会挪用到stat接口）。

8）ior_hard_read：

多个客户端、多个使命、并发地去读取本身在ior_hard_write阶段写入的文件，每次读取数据量47008 Bytes。该测试模仿传统HPC营业，多个计较使命并发加载数据的进程。

9）mdtest_hard_stat：

多个客户端、多个使命、并发地去stat本身在mdtest_hard_write阶段写入的文件，stat之后再读取3901 Bytes数据。该测试模仿人工智能营业检索、open、随后读取文件的进程，并评估这一进程的机能。

10）mdtest_easy_delete：

多个客户端、多个使命、并发地去delete本身在mdtest_easy_write阶段建设的文件。该测试模仿元数据集群对海量空文件并发删除的支持和机能。

11）mdtest_hard_read：

多个客户端、多个使命、并发地去读取本身在mdtest_hard_write阶段写入的文件，读取3901 Bytes数据。该测试模仿人工智能营业对元数据集群open，并读取指定小文件内容的机能。

12）mdtest_hard_delete：

多个客户端、多个使命、并发地去delete本身在mdtest_hard_write阶段建设的文件。该测试模仿文件体系对海量小文件元数据以及数据删除的机能。

从这些测试项可以看出，IO500首要测试了四大类场景：

1）存储集群的吞吐手段，验证多个使命次序写，彼此之间有无数据斗嘴，看集群能提供的写入、读取吞吐的上限。ior_easy_write、ior_easy_read首要用于测试这个场景。

2）存储集群对付共享读写的处理赏罚手段，多个使命共享、协同地读写统一个文件，必要做必然的并发节制，不然测试将因数据错杂而报错。ior_hard_write、ior_hard_read首要用于测试这个场景，这部门测试针对的是HPC的典范IO范例。

3）存储集群对付小文件IO的处理赏罚手段，好比mdtest_hard_read、mdtest_hard_write的读写3901 Bytes，假如数据机关不妥，这项测试的机能值会很低。

4）存储集群元数据的处理赏罚手段，重点考查集群建设、查询、删除文件的机能。个中md_hard_*还会去测试单个目次下大量文件（单目次下1.9亿文件）这个场景的机能。

YRCloudFile为了支持单目次下海量文件的测试，改造了原有的元数据安排计策算法，增进了假造目次层，用于拆分海量文件的目次，分手目次热门，从而晋升总体机能。在测试中，YRCloudFile在海量小文件场景下示意突出。

通过2019年两次参加IO500测试，我们在不绝进修和追赶国际领先存储企业的先辈技能，说明IO500的测试，我们可以看到：

1） IO500委员会由存储业界知名学者和专家构成，为了增强测试数据的中立，在下半年测试中，委员会针对测试剧本举办了批改，越发确保测试数据的公正、合理，同时模仿真实的高机能计较及人工智能场景，其测试数据可作为评估存储体系总体手段的一个重要指标。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!