迦南地
所有文章 标签 分类 实验室 关于
迦南地

目录

性能分析

 收录于 技术
   约 5537 字   预计阅读 12 分钟    次阅读  

SQL性能下降的原因

  • 查询语句写的差。
  • 索引失效：索引建了，但是没有用上。
  • 关联 查询太多join（设计缺陷或者不得已的需求）。
  • 服务器调优以及各个参数的设置（缓冲、线程数等）

SQL执行顺序

手写

https://gitee.com/lienhui68/picStore/raw/master/null/image-20200930172630703.png

机读

https://gitee.com/lienhui68/picStore/raw/master/null/image-20200930172300453.png

https://gitee.com/lienhui68/picStore/raw/master/null/image-20200930172426356.png

性能分析

MySQL Query Optimizer

在MySQL中有一个专门负责优化SELECT 语句的优化器模块，这就是我们本节将要重点分析的MySQL Optimizer，其主要的功能就是通过计算分析系统中收集的各种统计信息，为客户端请求的Query 给出他认为最优的执行计划，也就是他认为最优的数据检索方式。

当MySQLOptimizer 接收到从Query Parser （解析器）送过来的Query 之后，会根据MySQL Query 语句的相应语法对该Query 进行分解分析的同时，还会做很多其他的计算转化工作。如常量转化，无效内容删除，常量计算等等。所有这些工作都只为了Optimizer 工作的唯一目的，分析出最优的数据检索方式，也就是我们常说的执行计划。

基本原理

当客户端向MySQL请求一条Query ，到命令解析器模块完成请求分类区别出是SELECT 并转发给Query Optimizer 之后，Query Optimizer 首先会对整条Query 进行，优化处理掉一些常量表达式的预算，直接换算成常量值。并对Query 中的查询条件进行简化和转换，如去掉一些无用或者显而易见的条件，结构调整等等。然后则是分析Query中的Hint 信息（如果有），看显示Hint信息是否可以完全确定该Query的执行计划。如果没有Hint或者Hint 信息还不足以完全确定执行计划，则会读取所涉及对象的统计信息，根据Query进行相应的计算分析，然后再得出最后的执行计划。

Mysql常见瓶颈

CPU：CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据的时候

IO：磁盘IO瓶颈发生在装入数据远大于内存容量的时候

服务器硬件的性能瓶颈：top,free.iostat和vmstat来查看系统的性能状态

Explain

Explain简介

  • EXPLAIN是什么

    EXPLAIN：SQL的执行计划，使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理SQL语句的。

  • EXPLAIN怎么使用

    语法：explain + SQL。

     1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

    mysql> explain select * from pms_category \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: pms_category
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 1425
     filtered: 100.00
        Extra: NULL
1 row in set, 1 warning (0.00 sec)

  • EXPLAIN能干嘛

    可以查看以下信息：

    • id：表的读取顺序。
    • select_type：数据读取操作的操作类型。
    • possible_keys：哪些索引可以使用。
    • key：哪些索引被实际使用。
    • ref：表之间的引用。
    • rows：每张表有多少行被优化器查询。

Explain字段

id,type,key,rows,Extra 这个5个非常重要

概念

使用 EXPLAIN 关键字可以模拟优化器执行 SQL 查询语句，从而知道 MySQL 是如何处理你的 SQL 语句的。分 析你的查询语句或是表结构的性能瓶颈。 用法： Explain+SQL 语句。 Explain 执行后返回的信息：

1
2
3
4
5
6
7

mysql> explain select 1 from dual;
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra          |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------+
|  1 | SIMPLE      | NULL  | NULL       | NULL | NULL          | NULL | NULL    | NULL | NULL |     NULL | No tables used |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------+
1 row in set, 1 warning (0.01 sec)

准备工作

1
2
3
4
5
6
7
8

CREATE TABLE t1 (id INT (10) AUTO_INCREMENT,content VARCHAR (100) NULL,PRIMARY KEY (id)); 
CREATE TABLE t2 (id INT (10) AUTO_INCREMENT,content VARCHAR (100) NULL,PRIMARY KEY (id)); 
CREATE TABLE t3 (id INT (10) AUTO_INCREMENT,content VARCHAR (100) NULL,PRIMARY KEY (id)); 
CREATE TABLE t4 (id INT (10) AUTO_INCREMENT,content VARCHAR (100) NULL,PRIMARY KEY (id)); 
INSERT INTO t1 (content) VALUES (CONCAT('t1_',FLOOR(1+RAND ()*1000))); 
INSERT INTO t2 (content) VALUES (CONCAT('t2_',FLOOR(1+RAND ()*1000))); 
INSERT INTO t3 (content) VALUES (CONCAT('t3_',FLOOR(1+RAND ()*1000))); 
INSERT INTO t4 (content) VALUES (CONCAT('t4_',FLOOR(1+RAND ()*1000)));

id

select 查询的序列号,包含一组数字，表示查询中执行 select 子句或操作表的顺序。

  1. id 相同，执行顺序由上至下

    1

    explain select * from t1, t2, t3 where t1.id = t2.id and t2.id = t3.id;

    https://gitee.com/lienhui68/picStore/raw/master/null/image-20200930224534938.png

  2. id 不同，如果是子查询， id 的序号会递增， id 值越大优先级越高，越先被执行

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930225825.png

  3. 有相同也有不同

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930225911.png

    id 如果相同，可以认为是一组，从上往下顺序执行；在所有组中， id 值越大，优先级越高，越先执行衍生 = DERIVED

    DERIVED衍生虚表，延伸的ID是2的表

    小表永远驱动大表

select_type

select_type：数据查询的类型，主要是用于区别，普通查询、联合查询、子查询等的复杂查询。

  • SIMPLE：简单的SELECT查询，查询中不包含子查询或者UNION 。
  • PRIMARY：查询中如果包含任何复杂的子部分，最外层查询则被标记为PRIMARY。
  • SUBQUERY：在SELECT或者WHERE子句中包含了子查询。
  • DERIVED：在FROM子句中包含的子查询被标记为DERIVED(衍生)，MySQL会递归执行这些子查询，把结果放在临时表中。
  • UNION：如果第二个SELECT出现在UNION之后，则被标记为UNION；若UNION包含在FROM子句的子查询中，外层SELECT将被标记为DERIVED。
  • UNION RESULT：从UNION表获取结果的SELECT。

table

显示这一行数据属于哪个表

type

访问类型排列，显示查询使用了何种类型

  1. type显示的是访问类型，是较为重要的一个指标，结果值从最好到最坏依次是：system>const>eq_ref>ref>fultext>ref_or_null>index_merge>unique_subquery>index_subquery>range>index>ALL
  2. 挑重要的来说：system>const>eq_ref>ref>range>index>ALL，一般来说，得保证查询至少达到range级别，最好能达到ref。

从最好到最差依次是：system>const>eq_ref>ref>range>index>ALL

  1. system：表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，这个也可以忽略不计

  2. const：表示通过索引一次就找到了，const用于比较primary key或者unique索引。因为只匹配一行数据，所以很快。如将主键置于where列表中，MySQL就能将该查询转换为一个常量

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930233944.png

  3. eq_ref：唯一性索引，对于每个索引键，表中只有一条记录与之匹配，常见于主键或唯一索引扫描

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930233956.png

  4. ref：非唯一索引扫描，返回匹配某个单独值的所有行。本质上也是一种索引访问，它返回所有匹配某个单独值的行，然而，它可能会找到多个符合条件的行，所以他应该属于查找和扫描的混合体

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930234040.png

  5. range：只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引一般就是在你的where语句中出现了between、<、>、in等的查询这种范围扫描索引扫描比全表扫描要好，因为他只需要开始索引的某一点，而结束于另一点，不用扫描全部索引

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930234055.png

  6. index：Full Index Scan，index与ALL区别为index类型只遍历索引树。这通常比ALL快，因为索引文件通常比数据文件小。（也就是说虽然all和index都是读全表，但index是从索引中读取的，而all是从硬盘数据库文件中读的）

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930234104.png

  7. all：FullTable Scan，将遍历全表以找到匹配的行（全表扫描）

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930234115.png

const只有一条记录，eq_ref是可能多条，但是A表的外键对应B表中只有一条记录，可以想象一个圆规，当一个脚（t2）固定时另一个脚可以画圈（t1）。ref就是一对多，指单表，eq_ref是圆规，一个脚固定时，另一个脚可以画圈

possible_keys

  1. 显示可能应用在这张表中的索引，一个或多个
  2. 若查询涉及的字段上存在索引，则该索引将被列出，但不一定被查询实际使用

key

  1. 实际使用的索引，如果为null，则没有使用索引

  2. 若查询中使用了覆盖索引，则该索引仅出现在key列表中

    https://gitee.com/lienhui68/picStore/raw/master/null/20200930235554.png

    possible_key为空，因为没有带where条件，但是使用上了覆盖索引

key_len

  1. 表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下，长度越短越好
  2. key_len显示的值为索引最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的

https://gitee.com/lienhui68/picStore/raw/master/null/20201001000543.png

key_len计算规则

各种数据类型计算规则如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

# char和varchar类型key_len计算公式:

varchr(N)变长字段且允许NULL = N * ( character set：utf8=3,gbk=2,latin1=1)+1(NULL)+2(变长字段)

varchr(N)变长字段且不允许NULL = N * ( character set：utf8=3,gbk=2,latin1=1)+2(变长字段)

char(N)固定字段且允许NULL = N * ( character set：utf8=3,gbk=2,latin1=1)+1(NULL)

char(N)固定字段且允许NULL = N * ( character set：utf8=3,gbk=2,latin1=1)

# 数值数据的key_len计算公式：

TINYINT允许NULL = 1 + 1(NULL)

TINYINT不允许NULL = 1

SMALLINT允许为NULL = 2+1(NULL)

SMALLINT不允许为NULL = 2

INT允许为NULL = 4+1(NULL)

INT不允许为NULL = 4

# 日期时间型的key_len计算：（针对mysql5.5及之前版本）

DATE 允许为NULL=3  +1(NULL)

DATE 不允许为NULL=3

DATETIME允许为NULL = 8 + 1(NULL)  #（DATETIME从mysql5.6开始 长度5）

DATETIME不允许为NULL = 8

TIMESTAMP允许为NULL = 4 + 1(NULL)

TIMESTAMP不允许为NULL = 4
# 组合索引遵循索引最左原则
key_len以最左边的索引字段长度为计算准则

ref

  1. 显示表中哪一列被使用了，如果可能的话，最好是一个常数。哪些列或常量被用于查找索引列上的值
  2. 由key_len可知t1表的索引idx_col1_col2被充分使用，t1表的col1匹配t2表的col1，t1表的col2匹配了一个常量，即’ac’

https://gitee.com/lienhui68/picStore/raw/master/null/20201001003754.png

圆规花圆，先固定一脚（t2）再转动另一角（t1），所以t2的ref是null

可以理解为条件中等号后面的字段或常量

rows

根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数

https://gitee.com/lienhui68/picStore/raw/master/null/20201001004815.png

Extra

Using filesort
  • MySQL中无法利用索引完成排序操作成为“文件排序”
  • 说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取
  • 出现 Using filesort 不好（九死一生），需要尽快优化 SQL
  • 示例中第一个查询只使用了 col1 和 col3，原有索引派不上用场，所以进行了外部文件排序
  • 示例中第二个查询使用了 col1、col2 和 col3，原有索引派上用场，无需进行文件排序

https://gitee.com/lienhui68/picStore/raw/master/null/20201001015316.png

Using temporary
  • 使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by同时使用
  • 出现 Using temporary 超级不好（十死无生），需要立即优化 SQL
  • 示例中第一个查询只使用了 col1，原有索引派不上用场，所以创建了临时表进行分组
  • 示例中第二个查询使用了 col1、col2，原有索引派上用场，无需创建临时表

https://gitee.com/lienhui68/picStore/raw/master/null/20201001015334.png

Using index
  • 表示相应的select操作中使用了覆盖索引（Coveing Index），避免访问了表的数据行，效率不错！
  • 如果同时出现using where，表明索引被用来执行索引键值的查找
  • 如果没有同时出现using where，表明索引用来读取数据而非执行查找动作

https://gitee.com/lienhui68/picStore/raw/master/null/20201001015509.png

同时出现Using where 表明索引被用来执行查找动作，select list list里不仅有该索引列还有其他内容

如果没有出现Using where 表明索引被用来读取数据，select list list里仅有该索引列

覆盖索引（Covering Index），也说为索引覆盖

  • 理解方式一：就是select的数据列只用从索引中就能够取得，不必读取数据行，MySQL可以利用索引返回select列表中的字段，而不必根据索引再次读取数据文件，换句话说查询列要被所建的索引覆盖。
  • 理解方式二：索引是高效找到行的一个方法，但是一般数据库也能使用索引找到一个列的数据，因此它不必读取整个行。毕竟索引叶子节点存储了它们索引的数据；当能通过读取索引就可以得到想要的数据，那就不需要读取行了。一个索引包含了（或覆盖了）满足查询结果的数据就叫做覆盖索引。
  • 注意：如果要使用覆盖索引，一定要注意select列表中只取出需要的列，不可select * ，因为如果将所有字段一起做索引会导致索引文件过大，查询性能下降。
Using where

表明使用了where过滤

Using join buffer

表明使用了连接缓存

Using impossible where

where子句的值总是false，不能用来获取任何元组

https://gitee.com/lienhui68/picStore/raw/master/null/20201001015715.png

select tables optimized away

select tables optimized away：在没有GROUPBY子句的情况下，基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)操作，不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化。

distinct

优化distinct，在找到第一匹配的元组后即停止找同样值的工作

Explain Case

https://gitee.com/lienhui68/picStore/raw/master/null/20201001102613.png

  1. 第一行（执行顺序4）：id列为1，表示是union里的第一个select，select_type列的primary表示该查询为外层查询，table列被标记为<derived3>，表示查询结果来自一个衍生表，其中derived3中3代表该查询衍生自第三个select查询，即id为3的select。【select d1.name ...】
  2. 第二行（执行顺序2）：id为3，是整个查询中第三个select的一部分。因查询包含在from中，所以为derived。【select id, name from t1 where other_column= ' '】
  3. 第三行（执行顺序3）：select列表中的子查询select_type为subquery，为整个查询中的第二个select。【select id from t3】
  4. 第四行（执行顺序1）：select_type为union，说明第四个select是union里的第二个select，最先执行【select name, id from t2】
  5. 第五行（执行顺序5）：代表从union的临时表中读取行的阶段，table列的<union1, 4>表示用第一个和第四个select的结果进行union操作。【两个结果进行uinion操作】
更新于 2020-06-04
 mysql
返回 | 主页