python - Perfilador de memoria para numpy

memory memory-profiling

Question

Tengo una numpy comandos numpy que, según la top , utiliza unos 5 GB de RAM:

 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
16994 aix 25 0 5813m 5.2g 5.1g S 0.0 22.1 52:19.66 ipython

¿Hay un generador de perfiles de memoria que me permita tener una idea acerca de los objetos que están tomando la mayor parte de esa memoria?

He probado heapy , pero guppy.hpy().heap() me está dando esto:

Partition of a set of 90956 objects. Total size = 12511160 bytes.
Index Count % Size % Cumulative % Kind (class / dict of class)
0 42464 47 4853112 39 4853112 39 str
1 22147 24 1928768 15 6781880 54 tuple
2 287 0 1093352 9 7875232 63 dict of module
3 5734 6 733952 6 8609184 69 types.CodeType
4 498 1 713904 6 9323088 75 dict (no owner)
5 5431 6 651720 5 9974808 80 function
6 489 1 512856 4 10487664 84 dict of type
7 489 1 437704 3 10925368 87 type
8 261 0 281208 2 11206576 90 dict of class
9 1629 2 130320 1 11336896 91 __builtin__.wrapper_descriptor
<285 more rows. Type e.g. ''_.more'' to view.>

Por alguna razón, solo representa 12 MB de los 5 GB (la mayor parte de la memoria es casi seguramente utilizada por matrices numpy ).

¿Alguna sugerencia sobre lo que podría estar haciendo mal con heapy o qué otras herramientas debería probar (aparte de las que ya se mencionaron en este hilo )?

Answer 1

Numpy (y sus enlaces de biblioteca, más de eso en un minuto) usan C malloc para asignar espacio, por lo que la memoria utilizada por las grandes asignaciones de números no aparece en el perfil de cosas como heapy y nunca se limpia con la basura coleccionista.

Los sospechosos habituales de las grandes fugas son en realidad enlaces de bibliotecas suntuosos o adormecidos, en lugar del propio código de Python. Me quemé mal el año pasado por la interfaz scipy.linalg predeterminada para umfpack, que filtró la memoria a una velocidad de aproximadamente 10Mb por llamada. Es posible que desee probar algo como valgrind para perfilar el código. A menudo, puede dar algunas pistas sobre dónde mirar hacia dónde puede haber fugas.