python使用pipeline批量读写redis的方法

最新推荐文章于 2025-04-26 23:03:38 发布

俊晗

最新推荐文章于 2025-04-26 23:03:38 发布

阅读量642

点赞数

CC 4.0 BY-SA版权

文章标签： redis python 数据库缓存开发语言

本文链接：https://blog.csdn.net/gqv2009/article/details/125630204

本文介绍了Python使用Redis的Pipeline进行数据批量读写的实践。通过Pipeline，可以在生产环境中高效地执行插入和读取操作。在集群模式下，创建Pipeline时需指定集群配置。经测试，批量读取3500条数据耗时约900ms，结合线程或协程，每秒处理1万条数据，满足多数业务需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.插入数据

1. >>> import redis
2.  
3. >>> conn = redis.Redis(host='192.168.8.176',port=6379)
4.  
5. >>> pipe = conn.pipeline()
6.  
7. >>> pipe.hset("hash_key","leizhu900516",8)
8. Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
9.  
10. >>> pipe.hset("hash_key","chenhuachao",9)
11. Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
12.  
13. >>> pipe.hset("hash_key","wanger",10)
14. Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
15.  
16. >>> pipe.execute()
17. [1L, 1L, 1L]
>>>

2.批量读取数据

1. &gt;>> pipe.hget("hash_key","leizhu900516")
2. Pip

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

俊晗

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python读写Redis数据库操作示例

09-10

下面将详细讲解如何使用Python读写Redis数据库，并结合给出的示例代码进行分析。首先，Redis是一个高性能的键值存储系统，其核心特点是数据持久化、内存存储和丰富的数据结构。它的数据类型包括字符串（String）、...

python使用pipeline()与execute()批量读写redis

Victory_wbx的博客

06-11

4097

python使用pipeline()与execute()批量读写redis 1、插入数据 >>> import redis >>> conn = redis.Redis(host='192.168.8.176',port=6379) >>> pipe = conn.pipeline() >>> pipe.hset("ha...

参与评论您还未登录，请先登录后发表或查看评论

python 与Redis操作整理

热门推荐

pushiqiang的博客

05-24

2万+

python使用pipeline批量读写redis 用了很久的redis了。随着业务的要求越来越高。对redis的读写速度要求也越来越高。正好最近有个需求（需要在秒级取值1000+的数据），如果对于传统的单词取值，循环取值，消耗实在是大，有小伙伴可能考虑到多线程，但这并不是最好的解决方案，这里考虑到了redis特有的功能pipeline管道功能。下面就更大家演示一下pipeline在python...

python redis 性能测试_性能提升48倍! python redis批量写入大量数据优化过程

weixin_39881155的博客

11-28

649

1.最原始的版本,直接使用hset,效率很低写30w条完耗时365秒,这样有两个问题:相同的key,写入多条应该用hmset代替hset另外可以用pipeline,避免频繁跟redis服务端交互,大量减少网络ioimage.pngimage.pngimage.pngdef get_conn():r = redis.Redis(host='localhost', port=6379, decode_...

python redis批量执行插入

weixin_42828203的博客

12-31

2287

import random from RedisClient import RedisClient import time,datetime redis=RedisClient('127.0.0.1',6379) redis_three=redis.conn(0) redis_three.set('RudderAngleControl', str(random.randint(0,35))) redis_three.set('RudderAngle', str(random.randint(.

Python的Flask框架使用Redis做数据缓存的配置方法

12-16

Python的`redis`库也提供了`pipeline`接口，用于批量读写操作，提高效率。总之，结合Flask和Redis可以构建高效的Web应用程序，利用Redis的高速缓存能力优化性能。通过上述步骤，你已经掌握了如何在Flask中配置和...

python redis 批量插入

ty2009137128的专栏

11-02

1083

python redis 批量插入

python操作redis使用pipeline批量读写

Liquor的博客

01-04

2803

简介：随着数据量的增加，对redis的读写速度要求也越来越高。为了满足在秒级取值1000+数据，传统的单任务循环取值，消耗实在太大。因此使用redis特有的功能pipeline管道功能，可以很好的解决。批量插入数据操作 import redis pool = redis.ConnectionPool(host="20.20.100.133", port=6379, db=7) redis = redis.Redis(connection_pool=pool, decode_responses=True)

python pipline_Python Redis pipeline操作

weixin_39753397的博客

11-22

212

Redis是建立在TCP协议基础上的CS架构，客户端client对redis server采取请求响应的方式交互。一般来说客户端从提交请求到得到服务器相应，需要传送两个tcp报文。设想这样的一个场景，你要批量的执行一系列redis命令，例如执行100次get key，这时你要向redis请求100次+获取响应100次。如果能一次性将100个请求提交给redis server，执行完成之后批量的获取...

python多线程批量插入redis数据

菜鸟吴de博客

12-01

907

多线程+线程池+pipeline。

python调用redis批量写入并设置过期时间

努力学挖掘机的李某某的博客

05-14

6006

redis可以通过mset批量写入key,value值，但是如果对于写入后的key,value值一个一个设置过期时间的话速度较慢，最近发现了一个可以同时完成批量写入并设置过期时间的方法，记录一下，希望对他人有所帮助。 with redis_client.pipeline(transaction=False) as p: for key,val in zip(keys,values): p.s...

python引入redis_使用python向Redis批量导入数据

weixin_39517054的博客

12-31

295

1.使用pipeline进行批量导入数据class Redis_Handler(Handler):def connect(self):#print self.host,self.port,self.tableself.conn = Connection(self.host,self.port,self.table)def execute(self, action_name):filename = ...

python redis 轮询读取全部数据

qq_40771567的博客

08-31

1521

应用场景：需要读取redis中的全量数据，数据量过大，无法一次性读取 def get_device_type(): snap_r = redis.Redis(host=self.snap_host, password=self.snap_password, db=self.snap_db, port=self.s

向redis中写入大量的数据

h111121111111的博客

02-06

4984

往redis中写入大量的数据 1.编写Python脚本，生成redis命令 redis_info.py #!/usr/bin/python for i in range(5000000): #循环的数量 print 'set name'+str(i),'hello'+str(i) #str(i)将int类型转换为str类型，否则不能进行字符串拼接 2.运行python脚本输出到redis_comm.txt文件中 python redis_info.py > redis_comm.tx

python pipeline用法_python使用pipeline批量读写redis的方法

weixin_39605345的博客

11-28

215

用了很久的redis了。随着业务的要求越来越高。对redis的读写速度要求也越来越高。正好最近有个需求（需要在秒级取值1000+的数据），如果对于传统的单词取值，循环取值，消耗实在是大，有小伙伴可能考虑到多线程，但这并不是最好的解决方案，这里考虑到了redis特有的功能pipeline管道功能。下面就更大家演示一下pipeline在python环境下的使用情况。1、插入数据>>> import r...

Python Redis pipeline操作

weixin_30713953的博客

10-10

261

python使用pipeline读写redis

xiaoxiansweety的专栏

12-12

3864

http://blog.51cto.com/leizhu/1825733