欢迎投稿

今日深度:

优化临时表使用,SQL语句性能提升100倍

优化临时表使用,SQL语句性能提升100倍



SQL语句如下:
SELECT DISTINCT cp.name AS cp_name, c.name AS category_name, t.name AS type_name FROM g LEFT JOIN  cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN  c ON c.id = g.category_id AND c.deleted = 0 LEFT JOIN  t ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 ORDER BY g.modify_time DESC LIMIT 20 ;


查询了大量数据(包括数据条数、以及g.* ),然后使用临时表order by,但最终又只返回了20条数据。
DBA观察到的IO高,是因为sql语句生成了一个巨大的临时表,内存放不下,于是全部拷贝到磁盘,导致IO飙升。


第一条语句:查询符合条件的数据,只需要查询g.id即可
SELECT DISTINCT FROM  g LEFT JOIN  cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN  c ON c.id = g.category_id AND c.deleted = 0 LEFT JOIN  t ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 ORDER BY g.modify_time DESC LIMIT 20 ;

SELECT DISTINCT  cp.name AS cp_name,c.name AS category_name,t.name AS type_name FROM g LEFT JOIN  cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN  c ON c.id = g.category_id AND c.deleted = 0 LEFT JOIN  t ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 and g.id in(…………………) ORDER BY g.modify_time DESC ;


在SSD机器上测试,优化前大约需要7s,优化后第一条0.3s,第二条0.1s,优化后
可以看出,优化前磁盘io是性能瓶颈,SSD的速度要比SATA明显要快,优化后磁盘不再是瓶颈,SSD和SATA性能没有差别。

    临时表存储

一般情况下,MySQL会先创建内存临时表,但内存临时表超过配置指定的值后,MySQL会将内存临时表导出到磁盘临时表;
Linux平台上缺省是/tmp目录,/tmp目录小的系统要注意啦。

    使用临时表的场景

    直接使用磁盘临时表的场景

2)GROUP BY 或者 DISTINCT 子句中包含长度大于512字节的列;
3)使用UNION或者UNION ALL时,SELECT子句中包含大于512字节的列;

    临时表相关配置

    表的设计原则

1)创建索引:在ORDER BY或者GROUP BY的列上创建索引;
2)分拆很长的列:一般情况下,TEXT、BLOB,大于512字节的字符串,基本上都是为了显示信息,而不会用于查询条件, 因此表设计的时候,应该将这些列独立到另外一张表。

    SQL优化

常见的优化SQL语句方法如下:
1)拆分SQL语句
临时表主要是用于排序和分组,很多业务都是要求排序后再取出详细的分页数据,这种情况下可以将排序和取出详细数据拆分成不同的SQL,以降低排序或分组时临时表的大小,提升排序和分组的效率,我们的案例就是采用这种方法。
2)优化业务,去掉排序分组等操作
有时候业务其实并不需要排序或分组,仅仅是为了好看或者阅读方便而进行了排序,例如数据导出、数据查询等操作,这种情况下去掉排序和分组对业务也没有多大影响。

    如何判断使用了临时表?


www.htsjk.Com true http://www.htsjk.com/shujukunews/125.html NewsArticle 优化临时表使用,SQL语句性能提升100倍 。 SQL语句如下: SELECT DISTINCT cp.name AS cp_name, c.name AS category_name, t.name AS type_name FROM g LEFT JOIN cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN c ON c.id = g.ca...
相关文章
    暂无相关文章
评论暂时关闭