推荐使用哪个Python内存分析器？

我想知道我的Python应用程序的内存使用情况，特别是想知道哪些代码块/部分或对象消耗了最多的内存。 谷歌搜索显示商业的是Python内存验证器（仅限Windows）。

而开源的是PySizer和希比。

我没有试过任何人，所以我想知道哪一个是最好的考虑：

  1. 给出了大部分细节。

  2. 我必须对我的代码做最少或不做任何更改。

328195 次浏览
小开

我推荐Dowser。它非常容易设置，您需要对代码进行零更改。您可以通过简单的Web界面查看每种类型的对象计数、查看活动对象列表、查看对活动对象的引用。

# memdebug.py


import cherrypy
import dowser


def start(port):
cherrypy.tree.mount(dowser.Root())
cherrypy.config.update({
'environment': 'embedded',
'server.socket_port': port
})
cherrypy.server.quickstart()
cherrypy.engine.start(blocking=False)

您导入memdebug，然后调用memdebug.start.仅此而已。

我还没有试过PySizer或希比。我会很感激别人的评论。

更新

上面的代码用于CherryPy 2.X、CherryPy 3.X，server.quickstart方法已被删除，engine.start不采用blocking标志。所以如果你使用的是CherryPy 3.X

# memdebug.py


import cherrypy
import dowser


def start(port):
cherrypy.tree.mount(dowser.Root())
cherrypy.config.update({
'environment': 'embedded',
'server.socket_port': port
})
cherrypy.engine.start()
小开
最佳答案

guppy3使用起来非常简单。在代码的某些时候，你必须编写以下内容：

from guppy import hpy
h = hpy()
print(h.heap())

这会给你一些这样的输出：

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

您还可以找出引用对象的位置并获取相关统计数据，但不知何故，相关文档有点稀疏。

还有一个图形浏览器，用Tk编写。

对于Python 2. x，使用希比。

小开

考虑对象图库（有关示例用例，请参阅这篇博客文章）。

小开

我发现meliae的功能要远远大于He的或PySizer的。如果你正在运行一个wsgi网络应用程序，那么推土机是一个不错的Dowser中间件包装器

小开

我的模块memory_profiler能够逐行打印内存使用情况报告，并适用于Unix和Windows（最后一个需要psutil）。输出不是很详细，但目标是给你一个代码消耗更多内存的概述，而不是对分配对象的详尽分析。

使用@profile装饰函数并使用-m memory_profiler标志运行代码后，它将打印一个逐行报告，如下所示：

Line #    Mem usage  Increment   Line Contents
==============================================
3                           @profile
4      5.97 MB    0.00 MB   def my_func():
5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
7     13.61 MB -152.59 MB       del b
8     13.61 MB    0.00 MB       return a
小开

Muppy是（又一个）Python的内存使用分析器。此工具集的重点是识别内存泄漏。

Muppy试图帮助开发人员识别Python应用程序的内存泄漏。它可以跟踪运行时的内存使用情况并识别泄漏的对象。此外，还提供了允许定位未释放对象来源的工具。

小开

我正在为Python开发一个名为memprof的内存分析器：

http://jmdana.github.io/memprof/

它允许您在执行装饰方法期间记录和绘制变量的内存使用情况。您只需使用以下方法导入库：

from memprof import memprof

并使用以下方法装饰您的方法：

@memprof

这是一个关于情节如何看起来的例子：

输入图片描述

该项目托管在GitHub中：

https://github.com/jmdana/memprof

小开

还可以尝试pytracemalloc项目，它提供了每个Python行号的内存使用量。

编辑（2014/04）：它现在有一个Qt GUI来分析快照。


提交答案