python程序运行速度随着时间不断变慢甚至崩溃

最新推荐文章于 2024-03-21 09:00:29 发布

嗷海胆

最新推荐文章于 2024-03-21 09:00:29 发布

阅读量9.5k

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_32743513/article/details/107702267

在服务器上运行的NLP代码起初快速，但随着时间推移速度显著下降，可能是由于内存泄漏。通过`top`命令观察到内存使用量不断增加，确认了问题。使用objgraph库定位到循环中增长的对象，特别是TensorFlow相关的数据结构。问题根源在于每次循环调用预测模型时，静态图未被正确释放。解决方案是每次使用完模型后清除session，以防止内存泄漏，优化后程序内存使用趋于稳定。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有一个NLP相关的代码放在实验室的服务器上跑的时候，刚开始非常快，几分钟可以跑70个例子，过了几小时后就明显变慢，甚至放在服务器上跑了一晚上，仍然只跑了几个，因此，肯定不是代码本身的功能或者例子本身的问题。
问了实验室的同学，应该是发生了内存泄漏。
内存泄漏（Memory Leak）是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致程序运行速度减慢甚至系统崩溃等严重后果。我的程序正好有大量的循环，因此也给不断累积的内存泄漏提供了条件。
如果是在服务器中，可以使用top命令查看一下运行中的程序的实时变化，非常明显的我就可以看到，在使用内存这一项上，我的程序初始运行时是2.9g，但是运行过程中会不断增长，如果过了几个小时看，所占的内存就是5.5g了，这个证据就明显的说明了我的程序发生了内存泄漏，无怪乎程序越来越慢。
那么为了解决这个问题，最主要的还是要定位程序中哪一个部分发生了泄露，才可以做出修改。
这里要使用到objgraph。
其中objgraph.show_growth()可以显示出代码执行过后增加的对象。

tuple 163411 +8749
list 4056757 +2709
dict 48076 +1665
Operation 5235 +429
_InputList 5235 +429
Tensor 5414 +423
TF_Output 4650 +372
Dimension 1528 +207
TensorShapeV1 988 +174
TraceableObject 3863 +120
这就是我每次循环过后增长的对象，可以看到内存泄漏的情况还是蛮严重的。

     objgraph.show_chain(objgraph.find_backref_chain(objgraph.by_type('list')[0],objgraph.is_proper_module),filename='list.dot'

最低0.47元/天解锁文章

200万优质内容无限畅学