para - wget example
Cómo trabajar con user-agent para descargar una página web utilizando Wget (1)
Estoy tratando de descargar esta página usando Wget. Aquí está el enlace de la página:
Y aquí está mi cmd:
wget -O ebay.html --user-agent = "Mozilla / 5.0 (Windows NT 5.2; rv: 2.0.1) Gecko / 20100101 Firefox / 4.0.1" " http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&rt=nc&item=250972882769&si=a8iGAIchyvEbn7KveYFZ5QbEE7o%3D&print=all&category=31387 "
Cuando lo uso para acceder a la página utilizando un navegador, funciona bien. Cuando uso Wget, descarga otra página, no la original. Creo que el problema es para el agente de usuario. ¿Cual es la solución?
El problema no es el agente de usuario, es una cookie o cookies que faltan. La solucion es
- Recupere la página normal del producto con wget --save-cookies = ebay-cookies,
- Extraiga la URL del enlace "Imprimir" de ese archivo HTML. (Hice esto a mano, obviamente deberías escribir un script para hacerlo).
- Recupere la URL "Imprimir" con wget --load-cookies = ebay-cookies
Lo probé con una página de producto al azar; funcionó.