副问题[/!--empirenews.page--]
配景
本次SQL优化是针对javaweb中的表格查询做的。
部门收集架构图
营业简朴声名
N个机台将营业数据发送至处事器,处事器措施将数据入库至MySQL数据库。处事器中的javaweb措施将数据展示到网页上供用户查察。
原数据库计划
- windows单机主从疏散
- 已分表分库,按年分库,按天禀表
- 每张表或许20w阁下的数据
原查询服从
3天数据查询70-80s
方针
3-5s
营业缺陷
无法行使sql分页,只能用java做分页。
题目排查
前台慢 or 靠山慢
- 假如你设置了druid,可在druid页面中直接查察sql执行时刻和uri哀求时刻
- 在靠山代码顶用System.currentTimeMillis计较时刻差。
结论 : 靠山慢,且查询sql慢
sql有什么题目
- sql拼接过长,到达了3000行,有的乃至到8000行,大多都是union all的操纵,且有不须要的嵌套查询和查询了不须要的字段
- 操作explain查察执行打算,where前提中除时刻外只有一个字段用到了索引
备注 : 因优化完了,之前的sql其实找不到了,这里只能YY了。
查询优化
去除不须要的字段
结果没那么明明
去除不须要的嵌套查询
结果没那么明明
解析sql
- 将union all的操纵解析,譬喻(一个union all的sql也很长)
- select aa from bb_2018_10_01 left join ... on .. left join .. on .. where ..
- union all
- select aa from bb_2018_10_02 left join ... on .. left join .. on .. where ..
- union all
- select aa from bb_2018_10_03 left join ... on .. left join .. on .. where ..
- union all
- select aa from bb_2018_10_04 left join ... on .. left join .. on .. where ..
将如上sql解析成多少个sql去执行,最终汇总数据,最后快了20s阁下。
- select aa from bb_2018_10_01 left join ... on .. left join .. on .. where ..
将解析的sql异步执行
操作java异步编程的操纵,将解析的sql异步执行并最终汇总数据。这里用到了CountDownLatch和ExecutorService,示例代码如下:
- // 获取时刻段全部天数
- List<String> days = MyDateUtils.getDays(requestParams.getStartTime(), requestParams.getEndTime());
- // 天数长度
- int length = days.size();
- // 初始化归并荟萃,并指定巨细,防备数组越界
- List<你想要的数据范例> list = Lists.newArrayListWithCapacity(length);
- // 初始化线程池
- ExecutorService pool = Executors.newFixedThreadPool(length);
- // 初始化计数器
- CountDownLatch latch = new CountDownLatch(length);
- // 查询天天的时刻并归并
- for (String day : days) {
- Map<String, Object> param = Maps.newHashMap();
- // param 组装查询前提
-
- pool.submit(new Runnable() {
- @Override
- public void run() {
- try {
- // mybatis查询sql
- // 将功效汇总
- list.addAll(查询功效);
- } catch (Exception e) {
- logger.error("getTime非常", e);
- } finally {
- latch.countDown();
- }
- }
- });
- }
-
-
- try {
- // 守候全部查询竣事
- latch.await();
- } catch (InterruptedException e) {
- e.printStackTrace();
- }
-
- // list为汇总荟萃
- // 假若有须要,可以组装下你想要的营业数据,计较什么的,假如没有就没了
功效又快了20-30s
优化MySQL设置
(编辑:河北网)
【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!
|