usar - ¿Cómo uso Wget para descargar todas las imágenes en una sola carpeta, desde una URL?

wget example

Question

Estoy usando wget para descargar todas las imágenes de un sitio web y funciona bien, pero almacena la jerarquía original del sitio con todas las subcarpetas y las imágenes están salpicadas. ¿Hay alguna manera para que simplemente descargue todas las imágenes en una sola carpeta? La sintaxis que estoy usando en este momento es:

wget -r -A jpeg,jpg,bmp,gif,png http://www.somedomain.com

Answer 1

De acuerdo con la página del manual, la bandera -P es:

-P prefijo --directory-prefix = prefix Establece el prefijo del directorio en el prefijo. El prefijo de directorio es el directorio donde se guardarán todos los demás archivos y subdirectorios, es decir, la parte superior del árbol de recuperación. El valor predeterminado es (el directorio actual).

Esto significa que solo especifica el destino pero dónde guardar el árbol de directorios. No aplana el árbol en un solo directorio . Como se mencionó antes, la bandera -nd realmente hace eso.

@Jon en el futuro sería beneficioso describir lo que hace la bandera así que entendemos cómo funciona algo.

Answer 2

Escribí un shellscript que resuelve este problema para varios sitios web: https://github.com/eduardschaeli/wget-image-scraper

(Raspa las imágenes de una lista de URL con wget)

Answer 3

La utilidad wget recupera archivos de World Wide Web (WWW) utilizando protocolos ampliamente utilizados como HTTP, HTTPS y FTP. La utilidad Wget es un paquete de libre acceso y la licencia está bajo la licencia GNU GPL. Esta utilidad puede instalarse en cualquier sistema operativo similar a Unix, incluidos Windows y MAC OS. Es una herramienta de línea de comandos no interactiva. La característica principal de Wget es su robustez. Está diseñado de tal manera que funciona en conexiones de red lentas o inestables. Wget inicia automáticamente la descarga donde se dejó en caso de un problema de red. También descarga el archivo recursivamente. Seguirá intentando hasta que el archivo se haya recuperado por completo.

Instalar wget en la máquina de Linux sudo apt-get install wget

Crea una carpeta donde quieras descargar archivos. sudo mkdir myimages cd myimages

Haga clic derecho en la página web y, por ejemplo, si desea la ubicación de la imagen, haga clic derecho en la imagen y copie la ubicación de la imagen. Si hay varias imágenes, sigue el siguiente cuadro:

Si hay 20 imágenes para descargar de la web todas a la vez, el rango comienza de 0 a 19.

wget http://joindiaspora.com/img {0..19} .jpg

Answer 4

Las soluciones propuestas son perfectas para descargar las imágenes y si es suficiente para guardar todos los archivos en el directorio que está utilizando. Pero si quiere guardar todas las imágenes en un directorio específico sin reproducir todo el árbol jerárquico del sitio, intente agregar "cut-dirs" a la línea propuesta por Jon.

wget -r -P /save/location -A jpeg,jpg,bmp,gif,png http://www.boia.de --cut-dirs=1 --cut-dirs=2 --cut-dirs=3

en este caso, los directorios de corte impedirán crear subdirectorios hasta el 3er nivel de departamento en el árbol jerárquico del sitio web, guardando todos los archivos en el directorio que especificó. Puede agregar más ''directorios de corte'' con números más altos si estás tratando con sitios con una estructura profunda.

Answer 5

Prueba este:

wget -nd -r -P /save/location/ -A jpeg,jpg,bmp,gif,png http://www.domain.com

y espere hasta que elimine toda la información adicional

Answer 6

Prueba esto:

wget -nd -r -P /save/location -A jpeg,jpg,bmp,gif,png http://www.somedomain.com

Aquí hay más información:

-nd evita la creación de una jerarquía de directorios (es decir, no directorios ).

-r habilita la recuperación recursiva. Consulte Descarga recursiva para obtener más información.

-P establece el prefijo de directorio donde se guardan todos los archivos y directorios.

-A establece una lista blanca para recuperar solo ciertos tipos de archivos. Se aceptan cadenas y patrones, y ambos se pueden usar en una lista separada por comas (como se ve arriba). Consulte Tipos de archivos para obtener más información.

Answer 7

wget -nd -r -l 2 -A jpg,jpeg,png,gif http://t.co

• -nd : no hay directorios (guarde todos los archivos en el directorio actual; -P directory cambia el directorio de destino)
• -r -l 2 : nivel recursivo 2
• -A : extensiones aceptadas

wget -nd -H -p -A jpg,jpeg,png,gif -e robots=off example.tumblr.com/page/{1..2}

• -H : hosts span (wget no descarga archivos de diferentes dominios o subdominios por defecto)
• -p : requisitos de página (incluye recursos como imágenes en cada página)
• -e robots=off : ejecuta el comando robotos=off como si fuera parte del archivo .wgetrc . Esto desactiva la exclusión del robot, lo que significa que ignoras el robots.txt y las metaetiquetas del robot (debes saber las implicaciones que esto conlleva, ten cuidado).

Ejemplo: Obtenga todos los archivos .jpg de una lista de directorio ejemplar:

$ wget -nd -r -l 1 -A jpg http://example.com/listing/