python - Múltiples bucles con asyncio.

python-3.x asynchronous

Question

¿Es posible tener múltiples bucles con asyncio? Si la respuesta es sí, ¿cómo puedo hacer eso? Mi caso de uso es: * Extraigo las URL de una lista de sitios web en async * Para cada "lista de sub url", las rastrearía en async /

Ejemplo para extraer urls:

import asyncio
import aiohttp
from suburls import extractsuburls

@asyncio.coroutine
def extracturls(url):
    subtasks = []
    response = yield from aiohttp.request(''GET'', url)
    suburl_list = yield from response.text()
    for suburl in suburl_list:
        subtasks.append(asyncio.Task(extractsuburls(suburl)))
     loop = asyncio.get_event_loop()
     loop.run_until_complete(asyncio.gather(*subtasks))

 if __name__ == ''__main__'':
     urls_list = [''http://example1.com'', ''http://example2.com'']
     for url in url_list: 
          subtasks.append(asyncio.Task(extractsuburls(url)))  
     loop = asyncio.get_event_loop()
     loop.run_until_complete(asyncio.gather(*subtasks))
     loop.close()

Si ejecuto este código, tendré un error cuando Python intentará iniciar el segundo bucle, el cual dice que ya se está ejecutando un bucle.

PD: mi módulo "extractuburls" utiliza aiohttp para realizar la solicitud web.

EDITAR:

Bueno, he intentado esta solución:

import asyncio
import aiohttp
from suburls import extractsuburls

@asyncio.coroutine
def extracturls( url ):
    subtasks = []
    response = yield from aiohttp.request(''GET'', url)
    suburl_list = yield from response.text()
    jobs_loop = asyncio.new_event_loop()
    for suburl in suburl_list:
        subtasks.append(asyncio.Task(extractsuburls(suburl)))
     asyncio.new_event_loop(jobs_loop)
     jobs_loop.run_until_complete(asyncio.gather(*subtasks))
     jobs_loop.close()

 if __name__ == ''__main__'':
     urls_list = [''http://example1.com'', ''http://example2.com'']
     for url in url_list: 
          subtasks.append(asyncio.Task(extractsuburls(url)))  
     loop = asyncio.get_event_loop()
     loop.run_until_complete(asyncio.gather(*subtasks))
     loop.close()

Pero tengo este error: el argumento loop debe estar de acuerdo con el futuro

¿Alguna idea?

Answer 1

No necesita varios bucles de eventos, solo use el yield from gather(*subtasks) en extracturls() coroutine:

import asyncio
import aiohttp
from suburls import extractsuburls

@asyncio.coroutine
def extracturls(url):
    subtasks = []
    response = yield from aiohttp.request(''GET'', url)
    suburl_list = yield from response.text()
    for suburl in suburl_list:
        subtasks.append(extractsuburls(suburl))
    yield from asyncio.gather(*subtasks)

 if __name__ == ''__main__'':
     urls_list = [''http://example1.com'', ''http://example2.com'']
     for url in url_list: 
          subtasks.append(extractsuburls(url))
     loop = asyncio.get_event_loop()
     loop.run_until_complete(asyncio.gather(*subtasks))
     loop.close()

Como resultado, obtienes la espera de subtareas hasta que finalicen las extracturls .