mysql优化小技巧之去除重复项实现方法分析【百万级数据】优化小技巧之去除重复项实现方法分析【百万级数据】
本文实例讲述了mysql优化小技巧之去除重复项实现方法。分享给大家供大家参考，具体如下：
说到这个去重，脑仁不禁得一疼，尤其是出具量比较大的时候。毕竟咱不是专业的DB，所以嘞，只能自己弄一下适合自己去重方法
了。
首先按照常规首段，使用having函数检查重复项，完事一个一个的删除。不要问我having检测重复项的sql咋写，你懂得哈。。。这
个在只有几条重复的时候还可以。要是几千上万条不同数据重复，那咋办。。。
完事呢，咱就考虑了，用having函数查询的时候，原始sql如下：
select `name`,count(*) as count from sentence group by `name` having count>1
大家可以运行感觉下，在五百万左右的数据时，那速度，麻油。。。
但是嘞，咱在不考虑优化它的运行速度的前提下，来考虑使用这个语句来使我们去除数组中的重复项。首先，我们要知道，我们删
除重复数据的时候需要使用的数据有哪些。id是肯定的，再来呢，筛选的条件是吧。所以嘞，上面的sql查询出来的数据，缺少了
啥，id。。。那我们加上这个字段查询下试试哈：
select id,`name`,count(*) as count from sentence group by `name` having count>1
结果呢，就会显示出来id，name，count这三个字段。具体效果大家可以自己运行看下。根据这些数据咱们就可以进行去除重复项的
操作了。
具体的sql设计就是删除id不是咱们查询出来的id，但是name值是咱们查询出来的值，因为咱们的数据不是一条，所以得经过程序处
理，把所有的id用逗号拼接起来，name值用引号和逗号处理下，完事就可以进行使用了，示例呢就在下方：
delete from sentence where id not in(1,2,3) and name in('a','b','c')
如果数据过多的话，咱们可以写成脚本，完事再进行分批次操作。嘿嘿，到了这里，咱们就可以进行去除重复项的操作了，但是这
个速度么，始终是个困扰。接下来咱们就要考虑如何来优化这个sql，让它的速度上去，就算是大功告成了。
既然是提升咱们sql的运行速度，按照常理来讲，首先应该想到的那就是索引。好呗，废话不多说，咱们先建立索引。但是给那个字
段建立所以呢？？？这又是个问题了。
这个原则上是在你name字段可以加以区分的字段上建立的。比如，我的name字段里面储存的是一条条的品牌名称，然后呢，我有
一个industry字段是来存储每个品牌的行业的，所以我就在我的industry字段上建立了索引。当然，还有更加合适的，这个就看大家
咋考虑了。废话不多说，咱直接来看看我们优化后的sql：
select id,`name`,count(*) as count from sentence where industry = '饮品' group by `name` having count>1
运行结果如下：
结果说明啥，说明咱们的索引有在使用哦。。。那速度，咱不说各位看官应该也了解。完事咱们就可以再用程序把所有的id用逗号拼
接起来，name值用引号和逗号处理下，完事就可以进行那个去除重复项的大业了。效率明显上升啊。。。
不过有的看官可能用的条件里面含有like等会使索引失效的条件，那咱们还可以，把数据简单分类，完事分别检测每个分类的数据，
全部查询出来后，可以使用程序来检查重复项，并且取出删除所需要的数据。
附：附：mysql rand查询优化查询优化&随机查询优化随机查询优化
说起这个随机查询，大家都知道使用rand（）函数，但是当数据量达到一定程度的时候，查询效率就可想而知了。所以呢？我们不
妨考虑下优化这个查询方案。
我的优化方式为，通过程序来随机，再配合limit来取值。咱们记录下大概思路哈。
首先查询出符合条件的数据条数，之后用PHP的rand函数来在这个数值范围内随机取值，之后直接查询就可以。
示例sql：
select count(*) from test where $where; （计算所需要的数据的总条数）
$offset = rand(0,$count)
资源评论
weixin_38621624
- 粉丝: 3
最新资源
- linux常用命令大全.md
- linux常用命令大全.md
- 以繁中官网卡表为基础的宝可梦卡牌图像识别数据库+图形化查询工具
- linux常用命令大全.md
- 深度学习MATLAB实现基于BiGRU-Transformer双向门控循环单元（BiGRU）结合Transformer编码器进行多变量时序预测的详细项目实例（含模型描述及部分示例代码）
- linux常用命令大全.md
- k8s集群部署（脚本版）
- 遥感技术基于CNN-GRU-Attention的高光谱数据分类预测：融合空间光谱特征与注意力机制的深度学习模型设计及应用了文档的核心内容
- linux常用命令大全.md
- 能源领域MATLAB实现基于CNN-GRU卷积门控循环单元（CNN-GRU）进行锂电池剩余寿命预测的详细项目实例（含模型描述及部分示例代码）
- 【多变量时序预测】MATLAB实现基于CPO-BP-MOPSO冠豪猪优化算法（CPO）结合反向传播神经网络（BP）和多目标粒子群优化算法（MOPSO）进行多变量时序预测的详细项目实（含模型描述及部分示
- linux常用命令大全.md
- 《5种超炫纯CSS3动画按钮特效展示》
- linux常用命令大全.md
- SAP GUI 800-12 最新windows 64位客户端下载.rar
- 【深度学习与解释性AI】MATLAB实现基于DNN-SHAP深度神经网络（DNN）结合SHAP值方法（SHAP）进行多变量回归预测的详细项目实例（含模型描述及部分示例代码）
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
