mysql分页偏移量,MySQL 分页查询优化思路

最新推荐文章于 2024-06-04 20:34:55 发布
转载 最新推荐文章于 2024-06-04 20:34:55 发布 · 769 阅读 · 2
文章标签：

#mysql分页偏移量

本文探讨了MySQL分页查询的优化策略，包括传统分页与流式分页的优缺点，强调了索引优化和缓存优化的重要性。建议避免使用select *，利用覆盖索引减少回表查询，并提倡使用hash缓存分页id列表以提高效率。此外，提出了反向排序优化末页查询速度的方法，以及避免使用offset的替代方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

突破查询瓶颈的方法有很多，但这里先不谈分库分表之流，当头问题就一个：单数据表分页查询过慢怎么办？

其实讲分页优化的博客真不少，但很多博主只顾分享点子忽略了细节，还有很多值得补充的地方。笔者回顾了曾经在千万级 BBS 项目的优化经历，尽可能结合实际地聊聊个人对分页查询的见解。也希望读者在亲身操作中验证，任何优化脱离了实际场景都是纸上谈兵。

分页方式

首先介绍最常见的数据分页方式，即传统分页和流式分页。

传统分页

7252b3014c9538bbe2d652a979a309eb.png

传统分页的基本逻辑是每页展示固定的条目数、通过页码分页和翻页，包含要素如下：

首页：按序查询出一页长度的数据，作为顶部数据，无须处理偏移量。

下一页：除了末页都有下一页。通过页数能确定当前数据的偏移量，和数据总数比较可以判断是否还有下一页。偏移量可用于获取下一页的信息。

上一页：除了首页都有上一页。其余同上。

跳转：同上，偏移量来判断是否支持跳转到该页。

总页数：只要记住数据总量，除一下就能得到页数。结合跳转功能使用。

末页：许多系统会支持跳转到最后一页，根据总页数或总量即可实现。

翻页和跳转功能为查询效率带来了极大挑战，一方面带着偏移量的 MySQL 查询效率不高，另一方面功能上也存在缺陷，例如浏览当前页面的过程中发生数据新增或删除，页码编号已经重置，此时翻页后会出现数据“重复”或“缺失”的问题。

流式分页

最低0.47元/天 解锁文章

200万优质内容无限畅学
Julian Darling
关注
MySQL limit分页大偏移量慢的原因及优化方案
01-21
在 MySQL 中通常我们使用 limit 来完成页面上的分页功能，但是当数据量达到一个很大的值之后，越往后翻页，接口的响应速度就越慢。 本文主要讨论 limit 分页大偏移量慢的原因及优化方案，为了模拟这种情况，下面首先介绍表结构和执行的 SQL。 场景模拟 建表语句 user 表的结构比较简单，id、sex 和 name，为了让 SQL 的执行时间变化更加明显，这里有9个姓名列。 CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键', `sex` tinyint(4) NULL DEFAULT
mysql分页偏移量_MySQL中limit分页大偏移量的原因分析与优化
weixin_42306812的博客
02-02 297
在 MySQL 中通常我们使用 limit 来完成页面上的分页功能，但是当数据量达到一个很大的值之后，越往后翻页，接口的响应速度就越慢。本文主要讨论 limit 分页大偏移量慢的原因及优化方案，为了模拟这种情况，下面首先介绍表结构和执行的 SQL。场景模拟建表语句user 表的结构比较简单，id、sex 和 name，为了让 SQL 的执行时间变化更加明显，这里有9个姓名列。CREATE TABL...
MySQL偏移量的一点分析
congbao6525的博客
11-08 2638
在搭建MySQL主从的时候，change master是一个关键，如果没有使用GTID的方式，就需要使用偏移量和指定的binlog，每次需要手工去抓取这些信息，感觉还是比较费力，而且偏移量对我们来说就是一...
偏移分页
weixin_30682415的博客
08-01 312
基本使用： -page=LimitOffsetPagination实例化产生对象-返回值=page.paginate_queryset(ret,request,self)：ret是要分页的所有数据，-再序列化，序列化该返回值123四个参数： #从标杆位置往后取几个，默认取3个，我可以指定page.default_limit=3#每次取得条数page.limit_query_param...
mysql分页偏移量_mysql limit分页（偏移量）过大时优化问题
weixin_29938119的博客
01-21 1263
先说一下limit分页语法select * from user_address limit 100000,10limit后跟两个参数，第一个参数为从第几个数据开始，第二个参数为取多少个数据。第一个参数也叫偏移量，初始值是0如果数据量很小，这么写分页当然没问题，但是当数据量大起来的时候，查询速度就会慢很多。如：select * from user_address limit 100,10 查询用时0...
MySQL百万级数据分页查询优化方案
09-09
测试表明，查询的记录数量和偏移量对查询时间有很大影响，因此应尽量减少这两个值。同时，定期分析和调整索引也是维持高效查询的关键。 综上所述，面对百万级数据的分页查询，我们需要综合运用各种优化技术，包括...
mysql分页查询优化
最新发布
ray的博客
06-04 408
在数据量较大的情况下，使用LIMIT偏移量会导致查询效率低下。这种查询会读取 50050 条数据，并丢弃前 50000 条，只返回后 50 条。随着页码增大，查询的效率会显著降低。
Mysql Limit 分页查询优化详解
09-10
总的来说，MySQL LIMIT分页查询的优化主要集中在减少不必要的行扫描、利用索引以及采用更适合大数据量的查询策略。通过这些方法，可以显著提升分页查询的性能，尤其是对于那些需要跳过多行的情况。在实际应用中，应...
基于偏移量、游标分页的详解
qq_51898139的博客
11-08 1371
大量的数据集往往会被分成多个空间去存储。例如一本书就会有几十页几百页，因为把一本书都放在一页去展示不管是对生产者还是消费者都是及其不友好的。又比如在网页中我们常常会看到一页一页的数据，当然我们自己开发的时候也少不了做分页展示的需求。
分页业务逻辑算法
努力努力再努力
10-05 809
基础学习有一个思想: public class Hello { publicstatic void main(String[] args) { /* 一共46项数据, 每页要求有10个数据 , 请问能分成几页? */ inttotalcount = 46 ; intpagesize = 10 ; intnumber = totalcount % page
mysql的两种分页偏移量查询写法
tony_yang6的博客
09-02 1924
MySQL中的limit offset，rows来分段取出每页中需要的数据。但是当数据量足够大的时候，limit条件中的偏移量offset越大就越会导致性能问题，导致查询耗时增加严重。 不同的级别的偏移量查询 -- 发送不同级别偏移量的查询 set profiling=1; select * from notes limit 100,3; select * from notes limit 10000,3; select * from notes limit 1000000,3; select .
mysql中的偏移量_mysqllimit查询优化方法(offset偏移量)_MySQL
weixin_32049085的博客
01-20 2412
当网站达到一定的规模时，网站的各种优化是必须要进行的。 而网站的优化中，针对数据库各种优化是最重点的了。mysql数据库中的查询语句有关limit语句的优化。一般limit是用在分页的程序的分页上的，当应用数据量够小时，也许感觉不到limit语句的任何问题，但当查询数据量达到一定程度时，limit的性能就会急剧下降。 这个是通过大量实例得出来的结论。对同一张表在不同的地方取10条数据： 1)off...
mysql分页偏移量,如何计算分页的偏移量？
weixin_36077932的博客
01-21 1285
I am working on a pagination feature in a web service I am writing, but my lack of math insight is killing me now.I have a couple of keys: totalItems, currentItems, currentPage, totalPages, but also a...
Mysql中limit分页大偏移量的原因分析与优化
xiaopang2020的博客
10-14 1343
Mysql中limit分页大偏移量的原因分析与优化 文章内容截取掘金作者：Planeswalker23文章 原作者地址连接：https://juejin.cn/post/6862530465472741384 场景： 平时写的分页查询：(sex是索引列，非线上sql，只是为了分析) select * from gen_studentinfo where sex = 1 limit start,{start},start,{end} 数据量少时，性能没有什么影响。随着数据量变大，start值的增加，执行时
mysql 偏移量是什么_数据块内部偏移量的基本计算方法
weixin_36403106的博客
01-27 988
转载请注明出处：http://blog.csdn.net/guoyjoe/article/details/32715157 BASE的计算方法为： gyj@ZMDB select * from v$type_size where component in (KCB,KTB);COMPONEN TYPE DESCRIPTION TYPE_SIZE-------- -------- ---------...
mysql分页偏移量_mysql 分页查询limit中偏移量offset过大导致性能问题
weixin_42121725的博客
01-26 621
在业务中经常会遇到关于分页的需求，这就会经常会用到MySQL中的limit offset，rows来分段取出每页中需要的数据。但是当数据量足够大的时候，limit条件中的偏移量offset越大就越会导致性能问题，导致查询耗时增加严重。先看一下测试：-- 本地库中只有二百多万条数据，访者可以在本地将数据写入到千万条做测试。效果会更明显select count(*) from notes; -- 发送...
MySQL中的偏移量是什么意思及其在编程中的应用
CodeSpark的博客
09-29 989
通过设置偏移量，可以跳过查询结果集中的前几条记录，从而实现分页查询或者按条件筛选数据的功能。例如，我们可能需要查询年龄大于等于18岁的用户，可以使用偏移量和LIMIT子句来限制查询结果集的范围。通过以上的代码示例，我们可以看到偏移量在MySQL编程中的应用。它为我们提供了一种灵活的方式来限制查询结果集的范围，实现分页查询和按条件筛选数据的功能。LIMIT子句用于限制查询结果集的数量，而偏移量则用于指定结果集的起始位置。接下来，我们可以编写一个函数来执行带有偏移量和限制数量的查询，并返回结果集。
分页计算偏移
拱卒的博客
12-09 506
default long offset() { return getCurrent() > 0 ? (getCurrent() - 1) * getSize() : 0; }
MySQL偏移量的应用和编程实现
2301_79331421的博客
09-26 215
MySQL偏移量是在结果集中指定位置开始返回数据的操作，通常与LIMIT子句结合使用，用于分页查询或限制返回结果的数量。在编程中，我们可以通过设置偏移量和限制返回的数据行数量来实现偏移量的功能。本文以MySQL官方提供的Python连接库为例，展示了如何在编程中实现MySQL偏移量功能。实际的代码实现可能因使用的编程语言和连接库而有所不同，但基本的原理是相通的。希望本文对你理解MySQL偏移量的概念和编程实现有所帮助！如有疑问，请随时提问。
使用id限定优化mysql分页查询limit偏移量大问题
zuoliangzhu的专栏
11-16 1356
使用id限定优化mysql分页查询limit偏移量大问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值