ejemplos - Descargar una imagen a través de urllib y python

django

Question

Así que estoy tratando de hacer un script de Python que descargue webcomics y los ponga en una carpeta en mi escritorio. He encontrado algunos programas similares aquí que hacen algo similar, pero nada como lo que necesito. El que encontré más parecido está aquí ( http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images ). Intenté usar este código:

>>> import urllib
>>> image = urllib.URLopener()
>>> image.retrieve("http://www.gunnerkrigg.com//comics/00000001.jpg","00000001.jpg")
(''00000001.jpg'', <httplib.HTTPMessage instance at 0x1457a80>)

Luego busqué en mi computadora un archivo "00000001.jpg", pero todo lo que encontré fue la imagen almacenada en caché. Ni siquiera estoy seguro de que haya guardado el archivo en mi computadora. Una vez que entiendo cómo descargar el archivo, creo que sé cómo manejar el resto. Esencialmente solo use un bucle for y divida la cadena en ''00000000''. ''Jpg'' e incremente el ''00000000'' hasta el número más grande, que de alguna manera tendría que determinar. ¿Alguna recomendación sobre la mejor manera de hacer esto o cómo descargar el archivo correctamente?

¡Gracias!

EDITAR 15/06/10

Aquí está el script completado, guarda los archivos en cualquier directorio que elija. Por alguna extraña razón, los archivos no se estaban descargando y simplemente lo hicieron. Cualquier sugerencia sobre cómo limpiarlo sería muy apreciada. Actualmente estoy averiguando cómo averiguar cuántos comics existen en el sitio para poder obtener el último, en lugar de que el programa se cierre después de que se produzcan un cierto número de excepciones.

import urllib
import os

comicCounter=len(os.listdir(''/file''))+1  # reads the number of files in the folder to start downloading at the next comic
errorCount=0

def download_comic(url,comicName):
    """
    download a comic in the form of

    url = http://www.example.com
    comicName = ''00000000.jpg''
    """
    image=urllib.URLopener()
    image.retrieve(url,comicName)  # download comicName at URL

while comicCounter <= 1000:  # not the most elegant solution
    os.chdir(''/file'')  # set where files download to
        try:
        if comicCounter < 10:  # needed to break into 10^n segments because comic names are a set of zeros followed by a number
            comicNumber=str(''0000000''+str(comicCounter))  # string containing the eight digit comic number
            comicName=str(comicNumber+".jpg")  # string containing the file name
            url=str("http://www.gunnerkrigg.com//comics/"+comicName)  # creates the URL for the comic
            comicCounter+=1  # increments the comic counter to go to the next comic, must be before the download in case the download raises an exception
            download_comic(url,comicName)  # uses the function defined above to download the comic
            print url
        if 10 <= comicCounter < 100:
            comicNumber=str(''000000''+str(comicCounter))
            comicName=str(comicNumber+".jpg")
            url=str("http://www.gunnerkrigg.com//comics/"+comicName)
            comicCounter+=1
            download_comic(url,comicName)
            print url
        if 100 <= comicCounter < 1000:
            comicNumber=str(''00000''+str(comicCounter))
            comicName=str(comicNumber+".jpg")
            url=str("http://www.gunnerkrigg.com//comics/"+comicName)
            comicCounter+=1
            download_comic(url,comicName)
            print url
        else:  # quit the program if any number outside this range shows up
            quit
    except IOError:  # urllib raises an IOError for a 404 error, when the comic doesn''t exist
        errorCount+=1  # add one to the error count
        if errorCount>3:  # if more than three errors occur during downloading, quit the program
            break
        else:
            print str("comic"+ '' '' + str(comicCounter) + '' '' + "does not exist")  # otherwise say that the certain comic number doesn''t exist
print "all comics are up to date"  # prints if all comics are downloaded

Answer 1

¿Qué tal esto?

import urllib, os

def from_url( url, filename = None ):
    ''''''Store the url content to filename''''''
    if not filename:
        filename = os.path.basename( os.path.realpath(url) )

    req = urllib.request.Request( url )
    try:
        response = urllib.request.urlopen( req )
    except urllib.error.URLError as e:
        if hasattr( e, ''reason'' ):
            print( ''Fail in reaching the server -> '', e.reason )
            return False
        elif hasattr( e, ''code'' ):
            print( ''The server couldn/'t fulfill the request -> '', e.code )
            return False
    else:
        with open( filename, ''wb'' ) as fo:
            fo.write( response.read() )
            print( ''Url saved as %s'' % filename )
        return True

##

def main():
    test_url = ''http://cdn.sstatic.net//img/favicon.ico''

    from_url( test_url )

if __name__ == ''__main__'':
    main()

Answer 2

Además de sugerirle que lea los documentos de retrieve() cuidado ( http://docs.python.org/library/urllib.html#urllib.URLopener.retrieve ), le sugiero que llame a read() sobre el contenido de la respuesta. y luego guárdelo en un archivo de su elección en lugar de dejarlo en el archivo temporal que crea.

Answer 3

Encontré esta answer y la edito de manera más confiable

def download_photo(self, img_url, filename):
    try:
        image_on_web = urllib.urlopen(img_url)
        if image_on_web.headers.maintype == ''image'':
            buf = image_on_web.read()
            path = os.getcwd() + DOWNLOADED_IMAGE_PATH
            file_path = "%s%s" % (path, filename)
            downloaded_image = file(file_path, "wb")
            downloaded_image.write(buf)
            downloaded_image.close()
            image_on_web.close()
        else:
            return False    
    except:
        return False
    return True

De esto nunca obtienes ningún otro recurso o excepción durante la descarga.

Answer 4

Es más fácil simplemente usar .read() para leer la respuesta parcial o completa, y luego escribirla en un archivo que haya abierto en una buena ubicación conocida.

Answer 5

Esto funcionó para mí usando Python 3.

Obtiene una lista de URL del archivo csv y comienza a descargarlas en una carpeta. En caso de que el contenido o la imagen no exista, toma esa excepción y continúa haciendo su magia.

import urllib.request
import csv
import os

errorCount=0

file_list = "/Users/$USER/Desktop/YOUR-FILE-TO-DOWNLOAD-IMAGES/image_{0}.jpg"

# CSV file must separate by commas
# urls.csv is set to your current working directory make sure your cd into or add the corresponding path
with open (''urls.csv'') as images:
    images = csv.reader(images)
    img_count = 1
    print("Please Wait.. it will take some time")
    for image in images:
        try:
            urllib.request.urlretrieve(image[0],
            file_list.format(img_count))
            img_count += 1
        except IOError:
            errorCount+=1
            # Stop in case you reach 100 errors downloading images
            if errorCount>100:
                break
            else:
                print ("File does not exist")

print ("Done!")

Answer 6

Para Python 3 necesitarás import urllib.request :

import urllib.request 

urllib.request.urlretrieve(url, filename)

para más información mira el docs.python.org/3.0/library/…

Answer 7

Quizás necesites ''User-Agent'':

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [(''User-Agent'', ''Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36'')]
response = opener.open(''http://google.com'')
htmlData = response.read()
f = open(''file.txt'',''w'')
f.write(htmlData )
f.close()

Answer 8

Si necesita soporte de proxy, puede hacer esto:

  if needProxy == False:
    returnCode, urlReturnResponse = urllib.urlretrieve( myUrl, fullJpegPathAndName )
  else:
    proxy_support = urllib2.ProxyHandler({"https":myHttpProxyAddress})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener(opener)
    urlReader = urllib2.urlopen( myUrl ).read() 
    with open( fullJpegPathAndName, "w" ) as f:
      f.write( urlReader )

Answer 9

Si sabe que los archivos están ubicados en el mismo directorio dir del sitio site y tienen el siguiente formato: nombre_de_archivo_01.jpg, ..., nombre_de_archivo_10.jpg, descargue todos ellos:

import requests

for x in range(1, 10):
    str1 = ''filename_%2.2d.jpg'' % (x)
    str2 = ''http://site/dir/filename_%2.2d.jpg'' % (x)

    f = open(str1, ''wb'')
    f.write(requests.get(str2).content)
    f.close()

Answer 10

Solo para el registro, usando las solicitudes de la biblioteca.

import requests
f = open(''00000001.jpg'',''wb'')
f.write(requests.get(''http://www.gunnerkrigg.com//comics/00000001.jpg'').content)
f.close()

Aunque debería verificar el error requests.get ().

Answer 11

Todos los códigos anteriores no permiten conservar el nombre original de la imagen, que en ocasiones se requiere. Esto ayudará a guardar las imágenes en su disco local, conservando el nombre original de la imagen

    IMAGE = URL.rsplit(''/'',1)[1]
    urllib.urlretrieve(URL, IMAGE)

Prueba esto para más detalles.

Answer 12

Una solución más simple puede ser (python 3):

import urllib.request
import os
os.chdir("D://comic") #your path
i=1;
s="00000000"
while i<1000:
    try:
        urllib.request.urlretrieve("http://www.gunnerkrigg.com//comics/"+ s[:8-len(str(i))]+ str(i)+".jpg",str(i)+".jpg")
    except:
        print("not possible" + str(i))
    i+=1;

Answer 13

Usando urllib.urlretrieve :

import urllib
urllib.urlretrieve("http://www.gunnerkrigg.com//comics/00000001.jpg", "00000001.jpg")

Answer 14

Versión de Python 3 de la respuesta de @ DiGMi:

from urllib import request
f = open(''00000001.jpg'', ''wb'')
f.write(request.urlopen("http://www.gunnerkrigg.com/comics/00000001.jpg").read())
f.close()

Answer 15

import urllib
f = open(''00000001.jpg'',''wb'')
f.write(urllib.urlopen(''http://www.gunnerkrigg.com//comics/00000001.jpg'').read())
f.close()