¿Cómo funciona la función de devolución de llamada en multiproceso python map_async

multiprocessing pool

Question

Me costó toda una noche depurar mi código, y finalmente encontré este problema complicado. Por favor, eche un vistazo al código de abajo.

from multiprocessing import Pool
def myfunc(x):
return [i for i in range(x)]
pool=Pool()
A=[]
r = pool.map_async(myfunc, (1,2), callback=A.extend)
r.wait()

Pensé que obtendría A=[0,0,1] , pero la salida es A=[[0],[0,1]] . Esto no tiene sentido para mí porque si tengo A=[] , A.extend([0]) y A.extend([0,1]) me darán A=[0,0,1] . Probablemente la devolución de llamada funciona de una manera diferente. ¿Entonces mi pregunta es cómo obtener A=[0,0,1] lugar de [[0],[0,1]] ? Gracias de antemano por cualquier comentario.

Answer 1

La devolución de llamada se llama una vez con el resultado ( [[0], [0, 1]] ) si usas map_async.

>>> from multiprocessing import Pool
>>> def myfunc(x):
... return [i for i in range(x)]
...
>>> A = []
>>> def mycallback(x):
... print(''mycallback is called with {}''.format(x))
... A.extend(x)
...
>>> pool=Pool()
>>> r = pool.map_async(myfunc, (1,2), callback=mycallback)
>>> r.wait()
mycallback is called with [[0], [0, 1]]
>>> print(A)
[[0], [0, 1]]

Use apply_async si desea que se llame a la devolución de llamada cada vez.

pool=Pool()
results = []
for x in (1,2):
r = pool.apply_async(myfunc, (x,), callback=mycallback)
results.append(r)
for r in results:
r.wait()