【性能优化】Django prefetch_related优化记录

原创已于 2022-01-21 11:41:38 修改 · 654 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#django #python #后端 #orm #性能优化

于 2022-01-11 16:20:02 首次发布

python+Django 专栏收录该内容

25 篇文章

订阅专栏

本文通过一个具体案例展示了在面对大量数据查询时如何优化ORM查询效率。通过对原有查询方式的调整，包括取消prefetch_related预加载并采用更精细的过滤条件，成功将查询耗时从7秒降低到0.2秒。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、现象描述

1.表结构

class Instance(BaseModel):
    check_object = models.ForeignKey(CheckObject, on_delete=models.CASCADE, db_constraint=False)
    xxx

class InstanceAttr(BaseModel):
    instance = models.ForeignKey(Instance, on_delete=models.CASCADE, db_constraint=False)
    xxx

2.现象

在查询数据时，Instance有七千多条数据，instanceattr数据量36w+，单纯地循环，都要7s多。

inst_obj = Instance.objects.select_related("check_object").prefetch_related("instanceattr_set").filter(
        check_object__bk_object_key__in=check_show_fields.keys()).distinct().all()
start_time = time.time()
    for inst in inst_obj:
        pass
end_time = time.time()
print('Took %f second' % (end_time - start_time))

输出结果：

Took 7.414227 second

二、原因分析

经过分析，发现是使用prefetch_related导致的。
从下图的返回结果中可以看出，在循环过程中，select_related和prefetch_related都会调用一次数据库。但是由于prefetch_related对应的sql条件多，数据量大（36w+），查询耗时2s，导致整个函数都变慢。
在这里插入图片描述
从中我们可以看出，并不是什么时候，都适合使用prefetch_related来优化代码，要结合实际使用。