from - Gancho de progreso de Python urllib2

urllib.urlopen python 3

Question

Estoy intentando crear una barra de progreso de descarga en python usando el cliente http urllib2. Miré a través de la API (y en google) y parece que urllib2 no te permite registrar ganchos de progreso. Sin embargo, el urllib obsoleto más viejo tiene esta funcionalidad.

¿Alguien sabe cómo crear una barra de progreso o declarar un enlace usando urllib2? ¿O hay algunos otros hacks para obtener una funcionalidad similar?

Answer 1

Versión simplificada:

temp_filename = "/tmp/" + file_url.split(''/'')[-1]
f = open(temp_filename, ''wb'')
remote_file = urllib2.urlopen(file_url)
try:
total_size = remote_file.info().getheader(''Content-Length'').strip()
header = True
except AttributeError:
header = False # a response doesn''t always include the "Content-Length" header
if header:
total_size = int(total_size)
bytes_so_far = 0
while True:
buffer = remote_file.read(8192)
if not buffer:
sys.stdout.write(''/n'')
break
bytes_so_far += len(buffer)
f.write(buffer)
if not header:
total_size = bytes_so_far # unknown size
percent = float(bytes_so_far) / total_size
percent = round(percent*100, 2)
sys.stdout.write("Downloaded %d of %d bytes (%0.2f%%)/r" % (bytes_so_far, total_size, percent))

Answer 2

¿Por qué no simplemente leer datos en fragmentos y hacer lo que quieras hacer en el medio, por ejemplo, ejecutar un hilo, enganchar en una interfaz de usuario, etc. etc.

import urllib2
urlfile = urllib2.urlopen("http://www.google.com")
data_list = []
chunk = 4096
while 1:
data = urlfile.read(chunk)
if not data:
print "done."
break
data_list.append(data)
print "Read %s bytes"%len(data)

salida :

Read 4096 bytes
Read 3113 bytes
done.

Answer 3

Aquí hay un ejemplo completamente funcional que se basa en el enfoque de Anurag de fragmentar en una respuesta. Mi versión te permite establecer el tamaño del fragmento y adjuntar una función de informe arbitraria:

import urllib2, sys
def chunk_report(bytes_so_far, chunk_size, total_size):
percent = float(bytes_so_far) / total_size
percent = round(percent*100, 2)
sys.stdout.write("Downloaded %d of %d bytes (%0.2f%%)/r" %
(bytes_so_far, total_size, percent))
if bytes_so_far >= total_size:
sys.stdout.write(''/n'')
def chunk_read(response, chunk_size=8192, report_hook=None):
total_size = response.info().getheader(''Content-Length'').strip()
total_size = int(total_size)
bytes_so_far = 0
while 1:
chunk = response.read(chunk_size)
bytes_so_far += len(chunk)
if not chunk:
break
if report_hook:
report_hook(bytes_so_far, chunk_size, total_size)
return bytes_so_far
if __name__ == ''__main__'':
response = urllib2.urlopen(''http://www.ebay.com'');
chunk_read(response, report_hook=chunk_report)

Answer 4

urlgrabber tiene soporte integrado para notificación de progreso.