关于网易MySQL中间件的负载平衡计策及机能优化

团队先容

网易乐得DBA组，认真网易乐得电商、网易邮箱、网易技能部数据库一般运维，认真数据库私有云平台的开拓和维护，认真数据库及数据库中间件Cetus的开拓和测试等等。

一、配景

跟着营业的发作式增添，电商体系中的读写压力越来越高，单节点MySQL实例压力越来越大，纯真进级处事器硬件已经无法满意出产情形的必要。办理读哀求压力，必要支持从库扩展；办理写哀求压力，对数据分片增进多个节点，低落单节点MySQL实例的压力成了更优的选择。

传统的分片是通过DAO层举办的，可是DAO层对数据分片存在诸多题目。从营业角度看，设置修改必要重启处事，价钱庞大；必要对分片功效集举办处理赏罚，营业逻辑愈加伟大；成果相对简朴。从数据库运维角度看，设置打点的同一化难度较大；DB的进级、迁徙等操纵伟大。

网易电商同样面对着这些题目，为了彻底办理数据库瓶颈，网易乐得团队在现实出产中研发了本身的中间件Cetus。其具有正统基因，基于官方MySQL-Proxy的版本举办全面修复和再创新，已于不久前开源，在各个产物线上获得普及应用，机能和不变性均示意精采。

Cetus兼容MySQL协议，前端应用不消修改即可通过Cetus会见数据库，利便DBA运维同窗和开拓同窗行使，实现了数据库层面的横向扩展。

今朝Cetus有读写疏散和Sharding两个版本，可通过编译参数选择得当的版本。它支持对用户透明的多项成果，譬喻漫衍式事宜、毗连池、功效集压缩、安详打点、状态监控、Tcp Stream传输等等。

二、负载平衡计策及机能优化

本文所接头的负载平衡，指的是读流量的负载平衡，即读流量怎样分派到后端统一MySQL集群内的各个DB。

Cetus的负载平衡计策，首要分为两部门：

• 主从库之间读流量的负载计策；

• 从库之间读流量的负载计策。

详细实现时辰，流量的分派单元与Atlas等中间件也略有差异，举办了机能优化。下面章节将依次具体先容。

1、主从库之间读流量的负载计策

默认环境下，非事宜中、未通过注释逼迫路由主库或未行使锁的读流量会优先路由到从库，各个从库之间负载平衡。只有当从库都不行用时，读流量才会路由到主库。

有些营业场景下，主库可以分管部门读流量，这时就涉及到读流量在主库和从库上设置负载计策了。

Cetus中，可以通过设置参数read-master-percentage来指定默认的读流量路由到主库的百分比，该参数的取值范畴是[0, 100]。

该值默以为0，即全部读流量会优先路由从库，全部从库均不行用时，才会路由主库；假如该参数配置为100时，则全部读流量城市路由到主库；假如该值配置为(0, 100)时，则会凭证配置的比例举办路由。必要留意的是，该值暗示的是主库和全部从库的比例。

2、从库之间的读流量负载计策

路由到从库的流量会在各个从库之间举办负载平衡。今朝Cetus各个从库之间的读流量负载计策仅支持轮询（RR）方法。

在流量分派方面，Cetus也举办了优化。一些MySQL数据库中间件（譬喻Atlas）是基于SQL的维度做负载平衡的，不会思量SQL是统一个毗连照旧差异毗连发送来的，中间件依次将吸取到的SQL凭证计策发今后端的数据库。

在现实行使中发明，长毗连的场景下，该计策会造成大量的毗连切换，从而导致session级变量的频仍调解，影响SQL执行服从。因此，Cetus对其举办了优化，并非完全凭证SQL的维度做负载平衡。

Cetus思量了统一个毗连持续发送SQL哀求的环境，不会当即将当前SQL行使完的Cetus与MySQL的毗连放回毗连池复用，而是持有短暂（256毫秒）时刻，以期后续仍有SQL执行，从而停止了session级变量的调解，大大增进了SQL执行的服从。

长毗连场景下，对优化前后的Cetus举办了简朴测试。通过测试发明，通过优化后的Cetus针对长连场景下的读流量的吞吐量有了明明晋升。下图是在docker情形下的简朴测试比拟：

为了防备IO过高，简朴改革了sysbench发送的SQL，限定了返回的功效集巨细。禁用事宜和prepare的环境下，回收100个线程每次测试60s，持续测试5次，功效如下：

因为本机Docker机能较差，且sysbench模仿测试的语句较为简朴，不涉及session变量的切换，因此比拟结果不甚明明，本次测试机能仅晋升30%阁下。长毗连营业场景下，机能优化也许会越发明明。

3、读流量的路由计策总结

在存在至少1个可用从库的环境下，影响查询语句的路由计策的身分首要有：

1. 事宜中的查询；

2. select...for update 或 select ... lock in share mode；

3. Cetus配置参数master-preferred=true全部流量默认所有路由主库；

4. Cetus配置参数read-master-percentage节制主从读流量负载；

5. 行使注释/*#mode=READWRITE*/或/*#mode=READONLY*/。

默认环境下，读流量会优先路由到从库，从库之间凭证轮询计策在各个从库之间做负载平衡；一旦全部从库均不行用，会路由到主库上。今朝Cetus的各个从库暂不支持凭证权重做负载。

• 对付a、b、c点，Cetus会将查询语句直接路由主库；

• 对付d点，假如配置read-master-percentage=100，全部的查询流量均路由到主库；假如配置read-master-percentage=[0, 100)，Cetus会将读流量凭证该比例路由到主库和从库（留意，这里的从库指的是所有的从库，即该比例指的是主库和所有从库的比例）；

• 对付e点，假如行使注释/*#mode=READWRITE*/，读流量会路由到主库；假如行使注释/*#mode=READONLY*/读流量会路由从库，假如全部从库均不行用时才会路由到主库。

上面的各个身分的优先级，注释的优先级最高，其次是参数master-preferred，最后是参数read-master-percentage。

三、总结

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!