scraping - ¿Qué perfil de memoria de Python se recomienda?

python html scraping

Question

Quiero saber el uso de memoria de mi aplicación Python y específicamente quiero saber qué bloques de código / porciones u objetos consumen la mayoría de la memoria. La búsqueda en Google muestra que uno comercial es Python Memory Validator (solo Windows).

Y los de código abierto son PySizer y Heapy .

No he probado a nadie, así que quería saber cuál es el mejor considerando:

1. Da la mayoría de los detalles.

2. Tengo que hacer menos o ningún cambio en mi código.

Answer 1

Como nadie lo ha mencionado, memory_profiler a mi módulo memory_profiler que es capaz de imprimir informes línea por línea sobre el uso de la memoria y funciona en Unix y Windows (necesita psutil en esta última). La salida no es muy detallada, pero el objetivo es brindarle una descripción general de dónde el código consume más memoria y no un análisis exhaustivo de los objetos asignados.

Después de decorar su función con @profile y ejecutar su código con el -m memory_profiler , se imprimirá un informe línea por línea como este:

Line # Mem usage Increment Line Contents
==============================================
3 @profile
4 5.97 MB 0.00 MB def my_func():
5 13.61 MB 7.64 MB a = [1] * (10 ** 6)
6 166.20 MB 152.59 MB b = [2] * (2 * 10 ** 7)
7 13.61 MB -152.59 MB del b
8 13.61 MB 0.00 MB return a

Answer 2

Considere la biblioteca de objgraph (vea para un ejemplo de caso de uso).

Answer 3

Descubrí que las meliae son mucho más funcionales que Heapy o PySizer. Si está ejecutando una aplicación web wsgi, Dozer es un bonito contenedor de middleware de Dowser.

Answer 4

Estoy desarrollando un perfilador de memoria para Python llamado memprof:

http://jmdana.github.io/memprof/

Le permite registrar y trazar el uso de memoria de sus variables durante la ejecución de los métodos decorados. Solo tienes que importar la biblioteca usando:

from memprof import memprof

Y decora tu método utilizando:

@memprof

Este es un ejemplo de cómo se ven las parcelas:

El proyecto está alojado en GitHub:

https://github.com/jmdana/memprof

Answer 5

Pruebe también el proyecto pytracemalloc que proporciona el uso de memoria por número de línea de Python.

EDITAR (2014/04): ahora tiene una interfaz gráfica de usuario de Qt para analizar instantáneas.

Answer 6

Yo recomiendo Dowser . Es muy fácil de configurar y no necesita cambios en su código. Puede ver los recuentos de objetos de cada tipo a través del tiempo, ver la lista de objetos en vivo, ver referencias a objetos en vivo, todo desde la sencilla interfaz web.

# memdebug.py
import cherrypy
import dowser
def start(port):
cherrypy.tree.mount(dowser.Root())
cherrypy.config.update({
''environment'': ''embedded'',
''server.socket_port'': port
})
cherrypy.server.quickstart()
cherrypy.engine.start(blocking=False)

Importa memdebug y llama a memdebug.start. Eso es todo.

No he probado PySizer o Heapy. Apreciaría las críticas de otros.

ACTUALIZAR

El código anterior es para CherryPy 2.X , CherryPy 3.X el método server.quickstart se eliminó y engine.start no toma la server.quickstart blocking . Así que si estás usando CherryPy 3.X

# memdebug.py
import cherrypy
import dowser
def start(port):
cherrypy.tree.mount(dowser.Root())
cherrypy.config.update({
''environment'': ''embedded'',
''server.socket_port'': port
})
cherrypy.engine.start()

Answer 7

Heapy es bastante simple de usar. En algún punto de tu código, debes escribir lo siguiente:

from guppy import hpy
h = hpy()
print h.heap()

Esto te da una salida como esta:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index Count % Size % Cumulative % Kind (class / dict of class)
0 35144 27 2140412 26 2140412 26 str
1 38397 29 1309020 16 3449432 42 tuple
2 530 0 739856 9 4189288 50 dict (no owner)

También puede averiguar de dónde se hace referencia a los objetos y obtener estadísticas sobre eso, pero de alguna manera los documentos que contiene son un poco escasos.

También hay un navegador gráfico, escrito en Tk.

Answer 8

Muppy es (otro) Profiler Usage Profiler para Python. El enfoque de este conjunto de herramientas está en la identificación de las fugas de memoria.

Muppy intenta ayudar a los desarrolladores a identificar las pérdidas de memoria de las aplicaciones de Python. Permite el seguimiento del uso de la memoria durante el tiempo de ejecución y la identificación de objetos con fugas. Además, se proporcionan herramientas que permiten localizar el origen de los objetos no liberados.