使用 Celery + Redis + Eventlet 实现 Python 异步编程（Windows 环境）

Python测试之道

已于 2025-05-07 22:56:56 修改

阅读量924

点赞数 19

CC 4.0 BY-SA版权

分类专栏：异步编程测试提效文章标签： redis python windows

于 2025-05-07 22:47:39 首次发布

本文链接：https://blog.csdn.net/weixin_44872675/article/details/147775560

一、环境搭建与依赖安装

1. 安装依赖包

pip install celery redis eventlet

celery：异步任务队列框架。
redis：作为消息中间件（Broker）和结果存储（Backend）。
eventlet：用于 Windows 环境下的协程支持（解决多进程兼容性问题）。

2. 启动 Redis 服务

下载 Windows 版本 Redis：

https://github.com/tporadowski/redis/releases

启动 Redis 服务：
```
redis-server.exe redis.windows.conf
```

二、代码实现

在这里插入图片描述

1. 定义 Celery 任务（`tasks.py`）

import time
from celery import Celery

# 创建 Celery 实例，指定 Broker（Redis）和结果存储（Redis）
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(
    'tasks',
    broker

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Python测试之道

关注关注

19
点赞
踩
22

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

在Windows下设置Celery分布式队列的心跳轮询

LpmShell的博客

09-24

227

Celery是一个常用的Python分布式任务队列，用于在应用程序中异步执行任务。在Windows操作系统下设置Celery的心跳轮询功能，可以确保任务在分布式环境中的可靠执行。Redis是一个开源的内存数据结构存储，它可以用作Celery任务队列的消息代理。解压下载的Redis压缩文件，并将解压后的文件夹路径添加到系统环境变量中，以便在命令提示符中可以直接访问Redis。访问Redis的官方网站（https://redis.io/）下载最新的Windows版本的Redis。在项目根目录中创建一个名为。

Django+Celery+xadmin实现异步任务和定时任务

LDC，公众号【轻松学编程】

09-14

4566

Django+Celery+xadmin实现异步任务和定时任务一、celery介绍 1、简介【官网】http://www.celeryproject.org/ Celery 是一个强大的分布式任务队列，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（ async task ）和定时任务（ crontab ）。异步任务：比如发...

1 条评论您还未登录，请先登录后发表或查看评论

在Windows平台上通过PyCharm调试Celery任务

NLP工程化

07-10

1676

在分析Dify源码中Celery任务时候，刚开始使用命令行执行，不能够很方便的调试Celery任务中间变量。经过一番尝试终于可以在Windows平台上通过PyCharm来调试Celery任务了。

数据中台系列3：celery 安装与使用 window 篇

domodo2012的博客

07-31

1791

window 中使用 celery，用法层层递进

redis+celery（python）解决fastapi(示例)异步任务，定时任务详解

qq_51718617的博客

11-13

4310

简介老样子，我指定给你教会咯，学不会你来找我简介fastapi你访问一个接口，当这个接口执行一个非常耗时的任务的时候，其他的接口根本没办法访问，直接给你卡死，除非等这个接口的程序运行完。为什么，因为同步和异步的问题。那么我告诉你今天这个问题不存在了。

纯纯干货Django+Celery+Redis在Windows环境下运行

qq_44792334的博客

06-07

1134

django项目配置celery，实现异步、定时任务自由~~~

Python Celery+Redis

qq_36347651的博客

08-01

448

可以看到，右侧的终端中，即执行了send_email任务，又执行了send_msg任务，并没有出现等待5S之后，又执行下一个任务的情况。celery要想使用redis作为消息中间件，需要使用pip安装redis包。出现如下提示，就表示启动成功了。

Python Celery分布式任务队列（1）--celery介绍+集群部署+参数了解

qq_35061334的博客

05-31

7703

目录1、安装，集群部署1.1、server节点1.1.1、安装celery1.1.2、安装redis-server1.1.2、选择中间人（Broker）1.1.3、拷贝任务代码到机子上1.2、worker节点1.2.1、安装celery1.2.2、拷贝任务代码到机子上介绍 1、安装，集群部署 1.1、server节点 1.1.1、安装celery 如果使用 Redis 作为中间人（Broker）必须要安装 Celery 的依赖库，您可以通过 celery[redis] 进行安装： pip3 install

python教程：python基于celery实现异步任务周期任务定时任务

python入门教程

02-27

4321

这篇文章主要介绍了python基于celery实现异步任务周期任务定时任务,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 hello, 小伙伴们, 好久不更新了,这一次带来的是celery在python中的应用以及设置异步任务周期任务和定时任务的步骤,希望能给入坑的你带来些许帮助. 首先是对celery的介绍,Celery其实是一个专注于实时处理...

celery和redis怎么安装

03-29

值得注意的一点是，如果你计划采用 RabbitMQ 替代 Redis 成为 Celery 的消息中间件的话，那么就需要先安装 Erlang 编程语言环境，因为 RabbitMQ 的核心组件正是利用该语言构建而成的。具体的安装流程涉及下载官方...

28｜Celery库：让计算机定时执行任务，解放人力

qq_37756660的博客

05-28

1176

上一讲教你怎么把一个文件夹自动打包成压缩包，学会之后，你肯定会想到可以利用这个功能，把每日工作报告的文件夹制作成压缩包，作为邮件的附件发送给领导。那像是每日发送邮件、每周定时提醒、每月填写报表等等，类似这些按照某一周期完成的重复性任务，你肯定希望也能用 Python 来自动化完成它们，再也不用设置闹钟，提醒自己手动发送邮件和手动提交周报了。那么今天我就教你如何使用 Windows 任务计划和 Python 的 Celery 库实现周期任务的自动执行。

【高并发】Celery + Redis异步任务队列方案提高OCR任务时的并发

最新发布

所有专家都曾始于新手

05-09

1360

线程池在处理OCR任务时仍会阻塞请求，主要原因包括：请求-响应周期未分离、共享进程资源、Python的GIL限制等。这些问题导致高并发请求时线程池满，新请求被阻塞，长任务占用线程，资源竞争加剧。相比之下，Celery+Redis提供了更好的解决方案，通过异步任务队列实现真正的异步解耦，资源隔离，可靠性保障和状态监控。Celery+Redis的优势包括：立即返回任务ID，独立进程处理OCR，任务持久化和自动重试，支持实时查询任务状态。性能对比显示，Celery+Redis在请求响应时间、最大并发处理能力、资源

python celery定时任务_python+celery+redis实现定时任务

weixin_39824033的博客

12-11

360

最近工作中遇到一个问题，需要做定时任务，以前的定时任务我都是采用的crontab方案，但是新来的项目经理显然是不太满意这个解决方案的，这不他用了celery，虽然他没有强制我使用celery，但是我尽量还是使用 celery吧，废话不多说，直接百度一篇博客来学习。celery定时任务简单使用_数据库_Shyllin的博客-CSDN博客blog.csdn.net这里在简书上找到一篇分享的celer...

win10安装消息队列服务器,win10下celery搭建使用

weixin_29021195的博客

08-10

1288

Tips:在学习Celery过程中，使用的系统为Windows 10、Celery版本为3.1.18①、中间人使用RabbitMQ。什么是任务队列任务队列是一种在线程或者机器之间分发任务的机制。消息队列的输入是工作的一个单元，称为任务，独立的职程(Worker)进程持续监视队列中是否有需要处理的新任务。Celery使用消息通信，通信一般使用中间人(Broker)在客户端和职程之间斡旋。这个过程从客...

python celery定时任务_Python定时任务 Celery+Redis

weixin_39859220的博客

12-11

311

引言：当需要用python创建和完成定时任务时，第一个会想到的就是使用crontab库，但是crontab不支持Windows系统，于是我们可以使用一个支持Windows且功能强大的库：Celery。Celery-分布式任务队列:Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。它是一个任务队列，专注于实时处理，同时还支持任务调度。Celery...

django3.2版本在windows系统使用celery5.0详细配置

qq_42369064的博客

11-10

3179

由于我是创建了一个新的django项目来测试使用celery的，所以可能有些东西东西会和现成的django项目不同，django项目初始生成和配置我就不详说了，直接从django初始项目开始安装celery开始

Python配置celery+Redis执行异步任务

DokcelyNg的博客

11-20

712

Python配置celery执行异步任务，只要配置好以后可以应用到任何耗时任务当中，非常好用 tasks.py #!/usr/bin/env python #!-*-coding:utf-8 -*- import time from celery import Celery celery=Celery("ShiChuang",broker="redis://127.0.0.1:6379/14",backend='redis://127.0.0.1:6379/15') @celery.task def

python使用celery实现异步任务执行

gllaxq的博客

07-18

4258

使用celery在django项目中实现异步发送短信在项目的目录下创建celery_tasks用于保存celery异步任务。在celery_tasks目录下创建config.py文件，用于保存celery的配置信息 ```broker_url = "redis://127.0.0.1/14"``` 在celery_tasks目录下创建main.py文件，用于作为celery的启...

在Python后端项目中，如何正确升级到dagster-celery-k8s库的0.13.5版本并处理潜在的兼容性问题？

10-30

在Python后端开发中，正确升级dagster-celery-k8s库至新版本0.13.5是一个涉及多个技术细节的过程。为了确保升级的顺利进行并处理可能出现的兼容性问题，你需要遵循以下步骤：参考资源链接：[Python后端库dagster-celery-k8s版本更新至0.13.5](https://wenku.csdn.net/doc/43xhbk5sku) 首先，你需要了解新版本中引入了哪些变更。这通常可以通过阅读库的官方release notes或 CHANGELOG文件来获得。对于dagster-celery-k8s-0.13.5，查看该版本的更新说明将帮助你了解做了哪些改动，是否存在破坏性变更。其次，确保你的项目依赖环境与新版本兼容。你可能需要更新项目中的依赖文件，如`requirements.txt`或`Pipfile`，并指定新版本的库。对于dagster-celery-k8s，你应该在依赖文件中更新版本号至0.13.5，并运行相应的包管理命令进行安装，例如使用pip： ``` pip install dagster-celery-k8s-0.13.5.tar.gz ``` 如果使用的是其他包管理工具，比如Pipenv或Poetry，也需要进行相应的更新和安装操作。接下来，运行测试套件以验证升级后的库是否与你的代码兼容。如果发现不兼容的问题，需要根据库的文档或升级说明进行代码修改。在一些情况下，可能需要重构代码来适应新的API。在升级后，还需要检查与Kubernetes的交互是否仍然正常工作。由于dagster-celery-k8s依赖于Kubernetes，升级可能会引起与集群的交互方式改变。确保检查所有的Kubernetes资源定义，如部署（Deployments）、服务（Services）和任务（Jobs），并进行必要的调整。最后，确保文档是最新的。文档应反映新版本库的所有变更以及如何在项目中使用它们。这包括更新使用示例、配置选项和任何新的API调用。如果你在升级过程中遇到任何问题，可以参考官方文档或社区论坛寻求帮助。此外，还可以查阅《Python后端库dagster-celery-k8s版本更新至0.13.5》，这本书可能会提供关于版本升级的详细案例和解决方案，帮助你更好地理解和实施升级过程。参考资源链接：[Python后端库dagster-celery-k8s版本更新至0.13.5](https://wenku.csdn.net/doc/43xhbk5sku)