数据迁移到MySQL的性能测试

本日对一套情形的数据从SQL Server迁徙到MySQL,中间涉及诸多的架构改造，我们首要说一下数据迁徙的一些根基思绪，以下是一个开始，会在后头不绝的迭代改造一些方案。

整体来说，迁徙的数据量听起来不是许多，或许是300G阁下。

整体的步调是：

1）数据从SQL Server导出为csv文件

2）数据流转到MySQL中间处事器上

由于文件较大，好比有的文件有几十G，单次导入会直接抛错，，以是必要做下切分，好比凭证1000万的数据维度切分。

3）数据切分

数据会被切分成相对规整的分片，好比凭证1000万的基准，一个4亿数据量的文件会被切分为近40个500M的文件

4）由于切分后的文件太多，以是在导入前必要把这些使命分别为几个组

5）导入的时辰，是凭证并发历程的方法，由于数据库后端已经做了分片，以是就不必要挪用是开启太多的线程了。

6）数据通过中间件导入，数据落盘在多个分片节点上，物理分片是4个，每个物理分片上有4个逻辑分片，即一共有16个逻辑分片。

数据流程图如下：

从今朝的测试来看，假如是4个物理分片，通过中间件行使load data的方法，速率根基在80万每秒。和单机的20万对比，服从和机能是很明明的。

从今朝的数据迁徙来看，照旧存在一些行使风险，一来转储数据为csv文件的时刻较长，中间还涉及数据流转和数据切分，比及数据真正导入的时辰，流量和机能的消费已经很高了。

今朝的测试，有些分片节点的负载高达30以上，算是充实操作了处事器资源。

凭证今朝的根基数据环境，导入近70亿数据必要2个小时阁下，而这个进程还不包罗中间环节的跟尾和数据流转，现实的时刻会在近5个小时，从数据迁徙窗口来算，这个时刻明明是不切合需求的，假如把时刻节制在1个小时，有没有更好的要领？

【编辑保举】

1. 写给新人的数据库入门指南
2. NoSQL数据库处事之Redis
3. 图解数据库脏读、不行一再读、幻读
4. MySQL中Update修改数据与原数据沟通会再次执行吗？
5. 补充MySQL和Redis短板：看HBase怎么确保高可用

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!