加入收藏 | 设为首页 | 会员中心 | 我要投稿 河北网 (https://www.hebeiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

MySQL痿了,放不下这么大都据!

发布时间:2019-06-13 10:19:58 所属栏目:编程 来源:小姐姐的味道
导读:MySQL在到达必然数据量(我的履历是3T、单表1亿)时,伟大查询会有明明的耽误。继承分库分表,会严峻增进营业伟大性,尤其对许多非互联网产物来说,急需一个漫衍式存储。 MySQL自己也做了一些全力,那就是基于Paxos协议的MGR。但它没有Sharding的办理方案,
副问题[/!--empirenews.page--]

MySQL在到达必然数据量(我的履历是3T、单表1亿)时,伟大查询会有明明的耽误。继承分库分表,会严峻增进营业伟大性,尤其对许多非互联网产物来说,急需一个漫衍式存储。

MySQL自己也做了一些全力,那就是基于Paxos协议的MGR。但它没有Sharding的办理方案,必要借助其他中间件。

这样的DB已经有许多,个中,以Aurora为代表的云数据库进入视野。按照其风行度,仅对PorlarDB和TiDB举办了调研。

其他产物,包罗但不限于:

  1. Greenplum 
  2. Druid 
  3. Aurora 
  4. Taurus 
  5. Spanner 
  6. NuoDB 
  7. Oracle Exadata 
  8. Oracle RAC 

假如你时刻有限,直接看起源结论即可。下面的内容可以忽略。

起源结论

它们都支持MySQL协议,现有营业迁徙起来会较量滑腻,但对硬件的要求都较高。部门同等性都有Raft协议的参加,靠得住性都有担保。

TiDB是开源的,某些组件逼迫要求SSD,且需配备DBA,造成了整体本钱的上升。可是行使案例较多,经验过较大局限的应用。

PolarDB。阿里新的明星产物,价值相对公道,但行使案例有限,也无法窥视其源码,只有零散宣传文档。鉴于阿里兴趣强调的尿性,需试用后举办深入评价。但云端上风太明明,已被优先思量。

通过咨询已有履历的实践者,广泛吐槽会碰着许多稀疏的题目,并不像宣传中的那么柔美。

以下。

TiDB

一、简介

TiDB 是 PingCAP 公司计划的开源漫衍式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,团结了传统的 RDBMS 和 NoSQL 的最佳特征。TiDB 兼容 MySQL,支持无穷的程度扩展,具备强同等性和高可用性。TiDB 的方针是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的办理方案。

特征

TiDB 具备如下特征:

高度兼容 MySQL

大大都环境下,无需修改代码即可从 MySQL 轻松迁徙至 TiDB,分库分表后的 MySQL 集群亦可通过 TiDB 器材举办及时迁徙。

程度弹性扩展

通过简朴地增进新节点即可实现 TiDB 的程度扩展,按需扩展吞吐或存储,轻松应对高并发、海量数据场景。

漫衍式事宜

TiDB 100% 支持尺度的 ACID 事宜。

真正金融级高可用

对比于传统主从 (M-S) 复制方案,基于 Raft 的大都派推举协议可以提供金融级的 100% 数据强同等性担保,且在不丢失大大都副本的条件下,可以实现妨碍的自动规复 (auto-failover),无需人工参与。

一站式 HTAP 办理方案

TiDB 作为典范的 OLTP 行存数据库,同时兼具强盛的 OLAP 机能,共同 TiSpark,可提供一站式 HTAP 办理方案,一份存储同时处理赏罚 OLTP & OLAP,无需传统繁琐的 ETL 进程。

云原生 SQL 数据库

TiDB 是为云而计划的数据库,支持公有云、私有云和殽杂云,使陈设、设置和维护变得异常简朴。

二、整体架构图

MySQL痿了,放不下这么大都据!

三、兼容性(不支持特征列表)

github.com/pingcap/doc…

四、FAQ

github.com/pingcap/doc…

五、硬件需求

MySQL痿了,放不下这么大都据!

  • TiDB:理会,处理赏罚sql逻辑,通过PD获取数据地点,会见TiKV捞数据,返回功效(需负载平衡,高耗u,高内存,高收集)
  • PD:集群打点,存储元数据信息,tikv负载平衡,分派全局事宜id
  • TiKV:漫衍式且提供事宜的 Key-Value 存储引擎。(高耗u,高内存,高收集,高硬盘)
  1. PD节点=3794*3 = 11382 
  2. TiKV节点=30049*3 = 59547 (500G SSD) 
  3. 监控节点=7446 
  4. 合计:107873 

六、其他题目

1、 对硬盘要求高,启动会检测硬盘是否为SSD,若否无法启动

2、 不支持分区,删除数据是个大坑。(3.0支持)

办理方案:

  1. set @@session.tidb_batch_delete=1; 

3、 批量插数据题目

办理方案:

  1. set @@session.tidb_batch_insert=1; 

4、 删除表数据时不支持别名

  1. delete from 表名 表别名 where 表别名.col = '1' 会报错 

5、 内存行使题目,GO说话导致不知道接纳机制什么时辰运作。内存行使过多会导致TIDB当机(这点完全不像MYSQL)测试环境是,32G内存,在10分钟后才接纳一半。

6、 数据写入的时辰,tidb压力很大, tikv的CPU也占用很高

7、 不支持GBK

8、 不支持存储进程

9、 列数支持太少,只支持100列

polardb

一、简介、本钱

POLARDB是阿里巴巴自主研发的下一代相关型漫衍式云原生数据库,今朝兼容三种数据库引擎:MySQL、Oracle、PostgreSQL。计较手段最高可扩展至1000核以上,存储容量最高可达 100T。POLARDB回收存储和计较疏散的架构,全部计较节点共享一份数据,提供分钟级的设置起落级、秒级的妨碍规复、全局数据同等性和免费的数据备份容灾处事。POLARDB既融合了贸易数据库不变靠得住、高机能、可扩展的特性,又具有开源云数据库简朴开放、自我迭代的上风,譬喻POLARDB for MySQL机能最高可以晋升至MySQL的6倍,而本钱只有商用数据库的1/10

二、集群架构,计较与存储疏散

POLARDB回收多节点集群的架构,集群中有一个Writer节点(主节点)和多个Reader节点(读节点),各节点通过漫衍式文件体系(PolarFileSystem)共享底层的存储(PolarStore)。

三、读写疏散

(编辑:河北网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读