python内存性能分析

本文介绍了Python内存分析的多种工具,包括memory_profiler、Pympler、objgraph、tracemalloc、pyrasite和gc。memory_profiler提供逐行内存占用分析,Pympler能准确检测对象大小和内存泄漏,tracemalloc用于追踪内存分配,objgraph展示对象引用关系,pyrasite作为备用选项,gc则涉及Python的垃圾回收机制。在实际应用中,memory_profiler和tracemalloc通常能提供最直接的内存问题线索。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一些情况下,预期之外的内存占用过多时,需要分析代码哪个位置消耗内存,从而针对性的优化代码,本文介绍一些方便的工具可用于内存分析。

1. memory_profiler

memory_profiler 可逐行分析内存占用情况,提供最直接明了的信息。

调用方式
from memory_profiler import profile
@profile(precision=4, stream=open('mem.log','w+')) # 也可不使用参数
def func(x):
	# process

stream:设置输出到指定文件,不指定则打印到标准输出;

结果说明
Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Line :代码在脚本中的行号;
Mem usage:该行执行后的内存占用;
Increment:该行执行产生的内存增长;
Line Contents:具体代码;

其他用法

mprof 可输出程序随时间变化的内存使用变化,并能可视化。此时并非按行计算内存消耗,而是程序整体内存使用情况。
函数前使用profile 装饰器后,mprof可输出对应函数在相应运行时间段的内存使用。

mprof run <script> # 输出文件到当前目录
mprof plot #可视化
# 汇总所有子进程和父进程的内存使用
mprof run --include-children <script>
# 独立于主进程,追踪每个子进程的内存使用
mprof run --multiprocess <script><
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值