伟大 SQL 查询跑不动？DRDS 只读实例来办理！

 配景

在现实营业出产情形中，营业应用体系在行使 OLTP 数据库将数据举办存储后，均会存在如靠山运营类体系举办统计报表说明等场景的伟大 SQL 查询诉求。

为满意此类伟大 SQL 查询快速相应的需求，DRDS 团队基于第三代漫衍式SQL引擎，进一步引入自研 MPP 多机并行计较引擎（Fireworks）及对应的优化计策，极大地补强了 DRDS 的伟大查询处理赏罚手段。

万万级数据下的漫衍式多表Join、聚合、排序、子查询操纵秒级返回功效,可极大的晋升相应速率。自身操作统一份数据（RDS只读）举办处理赏罚，无需数据同步至其他数据源，低落营业架构整体链路伟大度，节减营业运维及预算本钱。

首要特征

自研 MPP 多机并行计较引擎 Fireworks

DRDS 只读实例搭载了一个具备完备多机并行处理赏罚手段的 SQL 执行引擎（Fireworks）。它与 DRDS 主实例上搭载的 SQL 执行引擎有明显差别。

DRDS 主实例的执行引擎回收单机架构，采纳尽也许将计较下推至底层各物理分库执行的计策，依赖物理分库的计较手段实现了逻辑SQL的漫衍式计较。

而 DRDS 只读实例上搭载的 Fireworks 引擎是一个由多个计较节点构成的集群，将一个 SQL 查询转换为一个漫衍式计较使命，打破下挂 物理库计较手段的限定，大幅晋升针对伟大逻辑SQL的计较速率，对 Join、Aggregate 和 Sort 计较有明显加快结果。

Fireworks 会将 Join、Aggregate 和 Sort 这类计较使命通过 Shuffle 的方法打散并分发到计较集群的多个计较节点上，通过多计较节点并行计较到达计较加快的目标。

针对多机并行执行模式定制打造的优化器

原 DRDS 主实例优化器首要偏重 OLTP 场景，焦点理念是只管将统统计较下推至下挂的物理库执行。其目标是充实操作物理库的计较资源，同时可以停止发生大量的数据活动，从而获得较快的相应速率。

而对面临涉及较大数据量级下的复查查询场景时，整体机能会受到下挂物理库的限定，同时也会对物理库发生较大的压力从而影响不变性，总体来看其 OLAP 手段有许多范围性。

在引入了 MPP 多机并行计较引擎 Fireworks 之后，DRDS 自己在计较手段上获得了极大地晋升，优化器的整体优化计策也有所调解：

1. 只管将伟大计较（如 Join 、Aggregation 、Sort ）上提至自身执行引擎计较，通过 Fireworks 计较集群实现计较加快与可扩展性； 
2. 将轻量级的计较（如 Project 、Filter ）继承下推至至物理库从而镌汰数据拉取的本钱。

DRDS 漫衍式 SQL 优化器通过对执行打算最细粒度的优化可以发生出对多机并行执行引擎友爱的执行打算，得到更好执行服从。

同时提供风雅化算子下推计策，将对 RDS 较小压力的算子下推至物理库取得更高的计较性价比，同时掩护 RDS 免受价钱较大算子的影响，从而担保在线流量的不变性。

基于在线数据直接说明

以新零售营业为代表的新兴互联网营业不绝涌现，这类营业除了有及时的 OLTP 需求，还陪伴着一些有必然伟大度的准及时 OLAP 的需求用以支持及时决定等需求。

而今朝大大都的数据说明场景的办理方案均必要将 OLTP 数据库的出产数据导出至其他数据源举办再次离线说明，这种传统方案很难满意准及时的需求，同时在数据导出至离线体系时也存在数据丢失的风险。

DRDS 只读实例无需举办冗长繁琐的数据同步使命，基于 RDS 只读实例或 RDS 主实例直接举办伟大数据处理赏罚，低落营业架构整体链路伟大度，节减营业运维及预算本钱。

DRDS 只读实例在停止数据同步的同时，可担保数据处理赏罚时效性，最高可做到 READ COMMITED 的及时性 (基于 RDS 主实例)。

界线清楚的 SQL 兼容性

DRDS 只读实例全面兼容 DRDS 主实例的 SQL 查询语法，与 DRDS 5.3 版本的 SQL 兼容性和 SQL 支持界线高度保持同等。

与同类产物对比具备兼容性高以及支持界线清楚的特点。可以提供与 DRDS 主实例险些同等的体验。

DRDS 主实例上无法执行或执行较慢的伟大 SQL 可以直接迁徙到只读实例来执行，免除SQL改写的特殊开销。

产物体验机动自主

DRDS 只读实例自动同步 DRDS 主实例的账号权限信息，原生VPC支持，表里网可同时开启，按照营业环境机动变配，数据处理赏罚手段线性晋升。

技能架构总览

DRDS 只读实例整体架构与 DRDS 主实例根基保持同等，仅在查询层有所变革，增进了 MPP 执行引擎和对应优化器，如下如所示：

DRDS协议层认真处理赏罚收集交互与 MySQL 协议的理会，收到查询哀求后会将 SQL 转交至查询层处理赏罚。查询层认真理会 SQL 并由执行器发生颠末优化的执行打算，然后交由执行引擎到存储层举办查询以及计较。

假如必要行使 Fireworks 引擎计较，在获得执行打算之后查询层还会将该执行打算进一步转换为漫衍式执行打算并将其作为漫衍式使命提交给 Fireworks Cluster。由远端的 Fireworks 集群完成到存储层举办数据查询以及后续计较的事变。

简朴来说，DRDS 只读实例可以以为是在原 DRDS 基本上增进了一条具备多机并行处理赏罚手段的执行链路。

合用场景

总体来说 DRDS 只读实例合用于处理赏罚低并发高耽误的大数据量级下的伟大查询。如数据说明及报表类场景，该类场景的典范特性为含有大量的关联、聚合及排序操纵且参加计较的数据局限较大。

今朝 DRDS 只读实例在阿里团体内部已经落地了多个营业，个中最具代表性的当属盒马、贸易大脑等新零售场景。环绕人、货、场、仓多个维度举办关联说明，对分手在差异逻辑库的几张乃至十几张逻辑表举办关联然后再聚合、排序以满意库存对账、决定支持等营业上的需求。

DRDS 只读实例的呈现使营业开拓同窗不再必要设置、维护数目繁多的数据同步链路，不消担忧因数据差异步而造成的功效时效性差或禁绝确等题目，必然水平上减轻了开拓同窗的事变承担。

对付已经在行使 DRDS 的用户来说，DRDS 只读实例可以办理如下两类已知题目：

在行使 DRDS 进程中也许会发明某一些涉及Join、聚合、排序的伟大 SQL由于不能完全下推而必要在DRDS执行引擎中举办二次计较，而这种计较由于受到单机执行引擎在内存方面的限定而无法执行。

SQL 的伟大计较部门可以下推可是涉及到的数据局限较大造成物理库压力增高影响 OLTP 营业可能相应时刻过慢达不到要求。

小结

恒久以来 DRDS 受到单机架构执行引擎的限定一向无法对基于大数据局限的伟大查询提供很好的支持，也无法通过扩展物理资源来实现对自身当地计较手段的线性扩展。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!