Django-Q任务处理机制深度解析-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00991/article/details/148943364

Django-Q任务处理机制深度解析

概述

Django-Q是一个强大的任务队列系统，它为Django应用提供了异步任务处理能力。本文将深入解析Django-Q中的任务处理机制，帮助开发者更好地理解和使用这一功能。

核心功能：async_task

async_task是Django-Q中最常用的函数，用于将任务异步推送到工作集群中执行。其基本用法如下：

from django_q.tasks import async_task, result

# 创建任务
async_task('math.copysign', 2, -2)

# 获取任务结果
task_result = result(task_id)

关键参数解析

hook参数：任务执行完成后调用的回调函数，接收完整的Task对象作为参数
group参数：为任务设置分组标签，便于批量管理
timeout参数：覆盖集群的全局超时设置
sync参数：同步执行模式，用于测试环境
cached参数：将结果存储在缓存而非数据库中，可设置为True或指定缓存时间(秒)

高级用法

可以使用q_options字典集中管理所有选项：

opts = {
    'hook': 'hooks.print_result',
    'group': 'math',
    'timeout': 30
}
async_task('math.modf', 2.5, q_options=opts)

AsyncTask类

Django-Q提供了AsyncTask类，以面向对象的方式管理任务：

from django_q.tasks import AsyncTask

# 创建AsyncTask实例
task = AsyncTask('math.floor', 1.5, group='math')

# 运行任务
task.run()

# 获取结果
print(task.result(wait=-1))  # 无限等待结果

优势

封装所有任务相关操作
支持动态修改参数后重新运行
提供更直观的任务管理接口

缓存机制

Django-Q支持将任务结果存储在缓存中，显著提高性能：

# 缓存结果10秒
task_id = async_task('math.floor', 100, cached=10)

# 从缓存获取结果
result(task_id, wait=50, cached=True)

缓存策略

cached=True：永久缓存，依赖后端清理策略
cached=60：60秒后自动过期
可随时将缓存结果转为永久数据库存储

同步测试模式

开发测试时，可以启用同步模式：

# 同步执行任务
task_id = async_task('my.buggy.code', sync=True)

# 立即获取任务状态
task = fetch(task_id)
if not task.success:
    print(f'错误: {task.result}')

连接池优化

高频任务调用时，建议重用broker连接：

from django_q.tasks import async_task
from django_q.brokers import get_broker

broker = get_broker()
for i in range(50):
    async_task('math.modf', 2.5, broker=broker)

核心API参考

async_task函数

async_task(func, *args, hook=None, group=None, timeout=None, 
           save=None, sync=False, cached=False, broker=None, 
           q_options=None, **kwargs)