requests - ¿Descarga básica de archivos http y guardado en disco en python?

python requests download file

Question

Soy nuevo en Python y he estado revisando las preguntas y respuestas en este sitio para obtener una respuesta a mi pregunta. Sin embargo, soy un principiante y me resulta difícil entender algunas de las soluciones. Necesito una solución muy básica.

¿Podría alguien explicarme una solución simple para ''Descargar un archivo a través de http'' y ''Guardarlo en un disco, en Windows'' para mí?

No estoy seguro de cómo usar los módulos shutil y os, tampoco.

El archivo que deseo descargar tiene menos de 500 MB y es un archivo de almacenamiento .gz. Si alguien puede explicar cómo extraer el archivo y utilizar los archivos también, ¡sería genial!

Aquí hay una solución parcial, que escribí a partir de varias respuestas combinadas:

import requests
import os
import shutil

global dump

def download_file():
    global dump
    url = "http://randomsite.com/file.gz"
    file = requests.get(url, stream=True)
    dump = file.raw

def save_file():
    global dump
    location = os.path.abspath("D:/folder/file.gz")
    with open("file.gz", ''wb'') as location:
        shutil.copyfileobj(dump, location)
    del dump

¿Podría alguien señalar los errores (nivel de principiante) y explicar los métodos más fáciles para hacer esto?

¡Gracias!

Answer 1

Como se menciona here :

import urllib
urllib.urlretrieve ("http://randomsite.com/file.gz", "file.gz")

EDIT: Si aún desea usar las solicitudes, eche un vistazo a esta pregunta o esta .

Answer 2

Cuatro métodos que usan wget, urllib y solicitud.

#!/usr/bin/python
import requests
from StringIO import StringIO
from PIL import Image
import profile as profile
import urllib
import wget


url = ''https://tinypng.com/images/social/website.jpg''

def testRequest():
    image_name = ''test1.jpg''
    r = requests.get(url, stream=True)
    with open(image_name, ''wb'') as f:
        for chunk in r.iter_content():
            f.write(chunk)

def testRequest2():
    image_name = ''test2.jpg''
    r = requests.get(url)
    i = Image.open(StringIO(r.content))
    i.save(image_name)

def testUrllib():
    image_name = ''test3.jpg''
    testfile = urllib.URLopener()
    testfile.retrieve(url, image_name)

def testwget():
    image_name = ''test4.jpg''
    wget.download(url, image_name)

if __name__ == ''__main__'':
    profile.run(''testRequest()'')
    profile.run(''testRequest2()'')
    profile.run(''testUrllib()'')
    profile.run(''testwget()'')

testRequest - 4469882 llamadas a funciones (4469842 llamadas primitivas) en 20.236 segundos

testRequest2 - llamadas a la función 8580 (8574 llamadas primitivas) en 0.072 segundos

testUrllib - Llamadas a función 3810 (3775 llamadas primitivas) en 0.036 segundos

testwget - La función 3489 llama en 0.020 segundos

Answer 3

Otra forma limpia de guardar el archivo es esta:

import csv
import urllib

urllib.retrieve("your url goes here" , "output.csv")

Answer 4

Solución exótica de Windows

import subprocess

subprocess.run("powershell Invoke-WebRequest {} -OutFile {}".format(your_url, filename), shell=True)

Answer 5

Una forma limpia de descargar un archivo es:

import urllib

testfile = urllib.URLopener()
testfile.retrieve("http://randomsite.com/file.gz", "file.gz")

Esto descarga un archivo de un sitio web y lo nombra file.gz Esta es una de mis soluciones favoritas, desde descargar una imagen a través de urllib y python .

Este ejemplo usa la biblioteca urllib y recuperará directamente el archivo de una fuente.

Answer 6

Yo uso wget .

¿Una biblioteca simple y buena si quieres dar un ejemplo?

import wget

file_url = ''http://johndoe.com/download.zip''

file_name = wget.download(file_url)

wget module support python 2 y python 3 versiones