python - futures - ¿De qué manera es grequests asincrónico?

asynchronous request python

Question

He estado usando la biblioteca de solicitudes de python durante algún tiempo, y recientemente tuve la necesidad de hacer una solicitud de forma asíncrona, lo que significa que me gustaría enviar la solicitud HTTP, hacer que mi hilo principal continúe ejecutándose y tener una devolución de llamada cuando el solicitar devoluciones.

Naturalmente, me llevaron a la biblioteca grequests ( https://github.com/kennethreitz/grequests ), pero estoy confundido sobre el comportamiento. Por ejemplo:

import grequests
def print_res(res):
from pprint import pprint
pprint (vars(res))
req = grequests.get(''http://www.codehenge.net/blog'', hooks=dict(response=print_res))
res = grequests.map([req])
for i in range(10):
print i

El código anterior producirá el siguiente resultado:

<...large HTTP response output...>
0
1
2
3
4
5
6
7
8
9

La llamada grequests.map () obviamente bloquea hasta que la respuesta HTTP esté disponible. Parece probable que malinterpreté el comportamiento ''asíncrono'' aquí, y la biblioteca grequests es solo para realizar múltiples solicitudes HTTP concurrentemente y enviar todas las respuestas a una única devolución de llamada. Es esto exacto?

Answer 1

Crea una lista de solicitudes y luego .imap con .imap :

event_list = [grequests.get(url_viol_card, params={"viol": i},
session=session) for i in print_ev_list]
for r in grequests.imap(event_list, size=5):
print(r.request.url)

• session es requests.Session() objeto (opcional)
• size=5 envía 5 solicitudes simultáneamente: tan pronto como se complete una de ellas, se envía la siguiente.
• En este ejemplo, cuando se completa cualquier solicitud (desordenada) se imprime su url

Answer 2

Si no desea utilizar las grequests , puede implementar las solicitudes con devoluciones de llamadas utilizando las requests + el módulo de threading de la biblioteca estándar. En realidad es muy fácil, y si lo único que quieres hacer es enviar solicitudes con devoluciones de llamadas, la API es más bonita que la proporcionada por las grequests .

from threading import Thread
from requests import get, post, put, patch, delete, options, head
request_methods = {
''get'': get,
''post'': post,
''put'': put,
''patch'': patch,
''delete'': delete,
''options'': options,
''head'': head,
}
def async_request(method, *args, callback=None, timeout=15, **kwargs):
"""Makes request on a different thread, and optionally passes response to a
`callback` function when request returns.
"""
method = request_methods[method.lower()]
if callback:
def callback_with_args(response, *args, **kwargs):
callback(response)
kwargs[''hooks''] = {''response'': callback_with_args}
kwargs[''timeout''] = timeout
thread = Thread(target=method, args=args, kwargs=kwargs)
thread.start()

Puede verificar que funciona como una llamada AJAX en JS: envía una solicitud en otro hilo, hace algunas cosas en el hilo principal, y cuando la solicitud regresa, invoca una devolución de llamada. Esta devolución de llamada solo imprime el contenido de la respuesta.

async_request(''get'', ''http://httpbin.org/anything'', callback=lambda r: print(r.json()))
for i in range(10):
print(i)

Answer 3

.map() está destinado a ejecutar la recuperación de varias URL en paralelo, y de hecho esperará a que se completen estas tareas (se gevent.joinall(jobs) ).

Utilice .send() lugar para generar trabajos, utilizando una instancia de Pool :

req = grequests.get(''http://www.codehenge.net/blog'', hooks=dict(response=print_res))
job = grequests.send(req, grequests.Pool(1))
for i in range(10):
print i

Sin el grupo, la llamada .send() bloqueará aún, pero solo para la llamada gevent.spawn() que ejecuta.