OceanBase怎样得到TPC-C测试第1名？

TPC-C是TPC组织(国际事宜机能委员会)拟定的关于商品贩卖的订单建设和订单付出等的基准测试尺度，是数据库联机买卖营业处理赏罚体系的势力巨子基准测试尺度。

蚂蚁金服自研的漫衍式相关数据库OceanBase得到TPC-C测试第一名后，引起了大量存眷，本日，我们约请了OceanBase的焦点研发职员对本次测试做专业的技能解读。

一、OceanBase怎样做TPC-C测试

有机遇挑衅TPC-C测试信托是全部数据库内核开拓职员的空想，但TPC-C测试尺度很是伟大。因为这是国产数据库同时也是漫衍式数据库第一次攻击这个榜单，为了完成这次挑衅，OceanBase团队前后筹备时刻高出一年。

前期筹备

TPC-C测试起首必要找到官方独一认证的审计员来对测试举办审计监察，他们对这次OceanBase的审计也相等重视，全天下仅有的三个审计员这次就有两个参加到测试审计事变中。

测试体系

今朝市面上根基找不到一个可以或许开箱即用的切合TPC-C尺度的测试器材。以今朝各个厂商PoC情形最常碰着的benchmarksql为例，可以说只是模仿TPC-C压力模子的压测器材，连最根基的数据导入都不合规，大量的字符串天生未担保全局随机，缺乏压测阶段最根基的think time、keying time这些根基设置导致极小的数据量就能跑出很高的tpmC，最要害的是它将测试模子大大简化为器材直连DB测试，完全没有遵守TPC-C测试尺度类型。

在尺度界说中，测试体系可以分为RTE(Remote Terminal Emulator)和SUT两部门，但现实上从脚色上看SUT可以进一步拆分为两部门：WAS(web application server)和DB Server。

这个中DB Server是每个测试厂商的数据库处事;RTE饰演的脚色是测试模子中的客户终端，事宜的触发、RT的统计等都在这里完成;尺度明晰要求每一个用户terminal都必需保持一个长毗连，显然在海量Warehouse时DB是无法遭受这么多毗连的，WAS就是RTE和DB之间桥梁，尺度界说可以行使毗连池，在担保对应用透明的环境下它可以做全部哀求的打点。

这三个脚色中，WAS和DB是必需贸易化可购置且提供付出处事的，OceanBase这次是行使了OpenResty作为WAS供给商。而RTE则一样平常由各个参测厂商自行按照尺度实现，但全部实当代码必需颠末审计的严酷审计，OceanBase这次完备的实现了一整套完全合规的RTE，而且支持在大局限测试体系中陈设。要知道在现实的TPC-C测试流程中，不可是对DB端手段的检验，RTE端同样存在极大的资源耗损和压力。以这次6088w tpmC测试功效看，我们一共在64台64c128G的云处事器上运行了960个RTE客户端，来模仿总计47942400个用户terminal，最后还必要基于这么多RTE统计功效举办同等性和耐久化审计验证。

固然只是测试客户端，但RTE的中同样有大量的也许导致最后测试失败的小细节，好比各人也许留意不到的全部事宜都由于用了web端模仿终端后必要增进的100毫秒rt，又好比为了模仿用户终端输出表现的100毫秒延时。

测试筹划

TPC-C从来都不是一个简朴的测试，它很科学并没有给出逼迫的软硬件设置，只是给出测试类型和各类审计搜查限定尺度，全部数据库厂商可以按照本身的特征充实调优来拿到一个最好的机能或性价比。但这同时也对全部参测厂商提出了一个庞大的困难，怎样对已有的资源举办公道筹划来担保顺遂完成一次对TPC-C榜单的攻击。

1. 硬件选型，这里不只要对数据库处事器选型，还必要对RTE以及WAS处事器选型。这之前必要先期举办大量的测试和调优，来摸出在担保性价比的条件下每个脚色处事器的资源设置是几多恰恰。这次OceanBase测试最大的上风就是所有行使了云化资源，我们不必要再存眷最底层机房、机柜、布线这些细节，只必要通过快速的规格调解来拿到我们必要的机型。

2. 参数选择，怎样选择吻合的设置参数是一个很是令人头疼的题目。举个例子，一个最典范的题目就是我们最终要跑几多个Warehouse，每个数据库处事器上承载几多Warehouse。TPC-C尺度为了尽也许模仿真实营业场景，通过每个事宜限制差异的think time和keying time担保了一个warehouse的数据最多可以或许提供12.86tpmC值，因此数据库厂商想要拿到更高的后果就必需装载更多的warehouse，可是另一方面单机的存储空间又有估量80%(履历值)必要预留给60天增量存储。在漫衍式数据库架构下，为了能让每个数据库处事器跑满又能充实操作当地存储空间，让每个处事器的CPU、内存、IO手段、存储空间的资源最大化操作，我们前后调解优化了近一个月时刻。

机能压测

最受存眷的机能压测部门在TPC-C尺度中划定了以下三个状态：

1. Ramp-up，尺度应承每个数据库举办一按时刻的预热来到达不变状态，可是ramp-up阶段的全部设置必需和最终陈诉设置保持同等。

2. Steady state，担保ACID及可串行化断绝级别条件下，数据库必要可以或许以最终陈诉tpmC值在不变状态无任何人工过问条件下保持运行8小时以上，每隔半小时必要完成一次checkpoint。

3. Measurement Interval，尺度划定了必要可以或许支持8小时不变运行，但机能收罗阶段只必要保配置2小时以上即可。这个阶段还必要担保累计tpmC颠簸不能高出2%，而且必需完成至少4个以上的checkpoint。

以是之前一样平常数据库举办机能压测一样平常是以下的流程，先举办一段时刻的预热达到稳态，守候不变运行一段时刻并完成一个checkpoint后开始进入2小时的机能收罗阶段。

而OceanBase这次是行使了TPC-C测试迄今以来最严苛的一个流程来完成这本机能测试的，我们起首行使了10分钟举办预热，然后在6088w tpmC稳态保持运行25分钟并完成一个搜查点，再继承跑了完备的8小机遇能压测收罗阶段，总耗时高出8个半小时，中间机能最大颠簸不到0.5%，最终功效也让审计员非常欢快。

整本机能测试前后，审计员还必要举办数据及事宜随机漫衍搜查，简朴说来就是大量全表扫描和统计sql，最大的一条sql必要会见高出万亿行的order_line表功效，可以算是TPC-C里的“TPC-H测试”。现场审计第一次碰着这些sql时我们也大量的呈现sql执行超时环境，但后续基于OceanBase2.2版本最新的并行执行框架我们照旧很快搞定了这些大sql，以是要顺遂完成TPC-C测试并不能只是一个偏科生，保持自身没有短板才是真正意义上的通用相关数据库，从这点上说Oracle还是OceanBase进修的模范。

ACID

1. A测试，通过提交和回滚payment事宜来确认数据库对原子性支持，和I测试一样，OceanBase的A测试跑了两遍，别离应对漫衍式事宜和当地事宜。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!