1. 老样子,建个表
还是这张表,表里我创建了近10W
条数据
CREATE TABLE demo_info(
id INT NOT NULL auto_increment,
key1 VARCHAR(100),
key2 INT,
key3 VARCHAR(100),
key_part1 VARCHAR(100),
key_part2 VARCHAR(100),
key_part3 VARCHAR(100),
common_field VARCHAR(100),
PRIMARY KEY (id),
KEY idx_key1 (key1),
UNIQUE KEY uk_key2 (key2),
KEY idx_key3 (key3),
KEY idx_key_part(key_part1, key_part2, key_part3)
)ENGINE = INNODB CHARSET=utf8mb4;
id
列是主键,key1
列是二级索引列。
2. 从sql执行计划看Limit的影响
分析一下sql
执行计划
explain select * from demo_info order by key1 limit 1;
在二级索引idx_key1
中,key1
列是有序的,查找按key1
列排序的第1
条记录,MySQL
只需要从idx_key1
中获取到第一条二级索引记录,然后直接回表取得完整的记录即可,这个很容易理解。
如果我们把上边语句的limit 1
换成limit 10000, 1
,则却需要进行全表扫描,并进行filesort
,执行计划如下:
explain select * from demo_info order by key1 limit 10000, 1;
有的同学就很不理解了:limit 10000, 1
也可以使用二级索引idx_key1
呀,我们可以先扫描到第10001
条二级索引记录,对第10001
条二级索引记录进行回表操作就好了啊。
由于MySQL
实现缺陷,不会出现上述的理想情况,它只会全表扫描+filesort
,下边我们分析一下。
3. 从server层和存储引擎层分析Limit执行过程
MySQL
其实是分为server
层和存储引擎层的:
server
层负责处理一些通用的事情,诸如连接管理、SQL
语法解析、分析执行计划之类的东西- 存储引擎层负责具体的数据存储,诸如数据是存储到文件上还是内存里,具体的存储格式是什么样的之类的。我们现在基本都使用
InnoDB
存储引擎,其他存储引擎使用的非常少了,所以我们也就不讨论其他存储引擎了。
MySQL
中一条SQL
语句的执行是通过server
层和存储引擎层的多次交互才能得到最终结果的。先不用Limit
子句举一个简单例子分析:
SELECT * FROM demo_info WHERE key1 > 'a' AND key1 < 'b' AND common_field != 'a';
server
层会分析到上述语句可以使用下边两种方案执行:
- 方案一:使用全表扫描
- 方案二:使用二级索引
idx_key1
,此时需要扫描key1
列值在('a', 'b')
之间的全部二级索引记录,并且每条二级索引记录都需要进行回表操作。
server
层会分析上述两个方案哪个成本更低,然后选取成本更低的那个方案作为执行计划。然后就调用存储引擎提供的接口来真正的执行查询了。
这里假设采用方案二,也就是使用二级索引idx_key1
执行上述查询。那么server
层和存储引擎层的执行过程如下:
server
层:“去查查idx_key1
二级索引的('a', 'b')
区间的第一条记录,然后把回表后把完整的记录返给我”
InnoDB
层:InnoDB
就通过idx_key1
二级索引对应的B+
树,快速定位到扫描区间('a','b')
的第一条二级索引记录,然后进行回表,得到完整的聚集索引记录返回给server
层。 server
层收到完整的聚集索引记录后,继续判断common_field!='a'
条件是否成立,如果不成立则舍弃该记录,否则将该记录发送到客户端。然后对存储引擎说:“请把下一条记录给我”
注意:
此处将记录发送给客户端其实是发送到本地的网络缓冲区,缓冲区大小由
net_buffer_length
控制,默认是16KB
大小。等缓冲区满了才真正发送网络包到客户端。
InnoDB
层:InnoDB
找到idx_key1
的('a', 'b')
区间的下一条二级索引记录,然后进行回表操作,将得到的完整的聚集索引记录返回给server
层。
注意:
不论是聚集索引记录还是二级索引记录,都包含一个称作
next_record
的属性,各个记录根据next_record
连成了一个链表,并且链表中的记录是按照键值排序的(对于聚集索引来说,键值指的是主键的值,对于二级索引记录来说,键值指的是二级索引列的值)。
server
层收到完整的聚集索引记录后,继续判断common_field!='a'
条件是否成立,如果不成立则舍弃该记录,否则将该记录发送到客户端。然后对存储引擎说:“请把下一条记录给我哈”
… 然后就不停的重复上述过程。
直到InnoDB
发现根据二级索引记录的next_record
获取到的下一条二级索引记录不在('a', 'b')
区间中,就跟server
层说:“('a', 'b')
区间没有下一条记录了”
server
层收到InnoDB
说的没有下一条记录的消息,就结束查询。
现在大家就知道了server
层和存储引擎层的基本交互过程了。
那limit
在哪里起作用呢?
MySQL
是在server
层准备向客户端发送记录的时候才会去处理limit
子句中的内容。 举个例子:
select * from demo_info order by key1 limit 10000, 1;
如果使用idx_key1
执行上述查询,那么MySQL
会这样处理:
server
层向InnoDB
要第1
条记录,InnoDB
从idx_key1
中获取到第一条二级索引记录,然后进行回表操作得到完整的聚集索引记录,然后返回给server
层。server
层准备将其发送给客户端,此时发现还有个limit 10000, 1
的要求,意味着符合条件的记录中的第10001
条才可以真正发送给客户端,所以在这里先做个统计,我们假设server
层维护了一个称作limit_count
的变量用于统计已经跳过了多少条记录,此时就应该将limit_count
设置为1
。server
层再向InnoDB
要下一条记录,InnoDB
再根据二级索引记录的next_record
属性找到下一条二级索引记录,再次进行回表得到完整的聚集索引记录返回给server
层。server
层在将其发送给客户端的时候发现limit_count
才是1
,所以就放弃发送到客户端的操作,将limit_count
加1
,此时limit_count
变为了2
。- … 重复上述操作
- 直到
limit_count
等于10000
的时候,server
层才会真正的将InnoDB
返回的完整聚集索引记录发送给客户端。
从上述过程中我们可以看到,MySQL
中是在实际向客户端发送记录前才会去判断limit
子句是否符合要求,所以如果使用二级索引执行上述查询的话,意味着要进行10001
次回表操作。server
层在进行执行计划分析的时候会觉得执行这么多次回表的成本太大了,还不如直接全表扫描+filesort
快呢,全表扫描+filesort
就是把聚集索引中的记录都依次与给定的搜索条件进行比较,把符合搜索条件的记录再进行排序,MySQL
认为这样操作的成本比多次回表成本低,所以就选择了后者执行查询。
MySQL
是根据成本来选择对应索引查询的,如果你不知道成本怎么计算,可以看我前一篇MySQL查询为什么选择使用这个索引?——基于MySQL8.0.22索引成本计算
如果不理解全表扫描和聚集索引,见这里:一条SQL如何被MySQL架构中的各个组件操作执行的?
怎么解决这个问题?
由于MySQL
实现limit
子句的局限性,在处理诸如limit 10000, 1
这样的语句时就无法通过使用二级索引来加快查询速度了么?其实也不是,只要把上述语句改写成:
select * from demo_info d,
(select id from demo_info order by key1 limit 10000, 1) t
WHERE d.id = t.id;
-- 或者这么写
select * from demo_info d
join
(select id from demo_info order by key1 limit 10000, 1) t
on d.id = t.id
这样,select id from demo_info order by key1 limit 10000, 1
作为一个子查询单独存在,由于该子查询的查询列表只有一个id
列,MySQL
可以通过仅扫描二级索引idx_key1
的叶子结点不用回表,然后再根据子查询中获得到的主键值去表demo_info
中进行查找。这样就省去了前10000
条记录的回表操作,从而大大提升了查询效率!