python - libreria - Barra de progreso mientras se descarga el archivo a través de http con solicitudes

requests python post

Question

Necesito descargar un archivo de tamaño considerable (~ 200MB). Descubrí cómo descargar y guardar el archivo here . Sería bueno tener una barra de progreso para saber cuánto se ha descargado. Encontré ProgressBar pero no estoy seguro de cómo incorporar a los dos juntos.

Aquí está el código que intenté, pero no funcionó.

bar = progressbar.ProgressBar(max_value=progressbar.UnknownLength)
with closing(download_file()) as r:
for i in range(20):
bar.update(i)

Answer 1

Parece que hay una desconexión entre los ejemplos en la página de ProgressBar y lo que realmente requiere el código.

En el siguiente ejemplo, observe el uso de maxval lugar de max_value . También tenga en cuenta el uso de .start() para inicializar la barra. Esto se ha observado en un Issue .

import progressbar
import requests
url = "http://.com/"
def download_file(url):
local_filename = ''test.html''
r = requests.get(url, stream=True)
f = open(local_filename, ''wb'')
file_size = int(r.headers[''Content-Length''])
chunk = 1
num_bars = file_size / chunk
bar = progressbar.ProgressBar(maxval=num_bars).start()
i = 0
for chunk in r.iter_content():
f.write(chunk)
bar.update(i)
i+=1
f.close()
return
download_file(url)

Answer 2

Parece que va a necesitar obtener el tamaño del archivo remoto (que se responde aquí ) para calcular qué tan lejos está.

Luego, puede actualizar su barra de progreso mientras procesa cada fragmento ... Si conoce el tamaño total y el tamaño del fragmento, puede averiguar cuándo actualizar la barra de progreso.

Answer 3

Te sugiero que pruebes tqdm [1], es muy fácil de usar. Código de ejemplo para descargar con la biblioteca de requests [2]:

from tqdm import tqdm
import requests
import math
url = "http://example.com/bigfile.bin"
# Streaming, so we can iterate over the response.
r = requests.get(url, stream=True)
# Total size in bytes.
total_size = int(r.headers.get(''content-length'', 0));
block_size = 1024
wrote = 0
with open(''output.bin'', ''wb'') as f:
for data in tqdm(r.iter_content(block_size), total=math.ceil(total_size//block_size) , unit=''KB'', unit_scale=True):
wrote = wrote + len(data)
f.write(data)
if total_size != 0 and wrote != total_size:
print("ERROR, something went wrong") 

[1]: https://github.com/tqdm/tqdm
[2]: http://docs.python-requests.org/en/master/