requests - ¿Cómo usar Python para iniciar sesión en una página web y recuperar cookies para su uso posterior?

response 200 python

Question

Quiero descargar y analizar páginas web usando Python, pero para acceder necesito un par de cookies. Por lo tanto, primero necesito ingresar a https en la página web. El momento de inicio de sesión implica el envío de dos parámetros POST (nombre de usuario, contraseña) a /login.php. Durante la solicitud de inicio de sesión, quiero recuperar las cookies del encabezado de respuesta y almacenarlas para que pueda usarlas en la solicitud para descargar la página web /data.php.

¿Cómo haría esto en Python (preferiblemente 2.6)? Si es posible, solo quiero usar módulos integrados.

Answer 1

Aquí hay una versión que usa la excelente biblioteca de requests :

from requests import session
payload = {
''action'': ''login'',
''username'': USERNAME,
''password'': PASSWORD
}
with session() as c:
c.post(''http://example.com/login.php'', data=payload)
response = c.get(''http://example.com/protected_page.php'')
print(response.headers)
print(response.text)

Answer 2

import urllib, urllib2, cookielib
username = ''myuser''
password = ''mypassword''
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({''username'' : username, ''j_password'' : password})
opener.open(''http://www.example.com/login.php'', login_data)
resp = opener.open(''http://www.example.com/hiddenpage.php'')
print resp.read()

resp.read() es el html directo de la página que desea abrir, y puede usar el opener para ver cualquier página utilizando su cookie de sesión.