requests - Formulario de Python POST usando urllib2(también pregunta sobre guardar/usar cookies)

urllib2 readline

Question

Estoy intentando escribir una función para publicar los datos del formulario y guardar la información de la cookie devuelta en un archivo para que la próxima vez que se visite la página, la información de la cookie se envíe al servidor (es decir, el comportamiento normal del navegador).

Escribí esto con relativa facilidad en C ++ usando curlib, pero pasé casi un día entero tratando de escribir esto en Python, usando urllib2, y aún no tengo éxito.

Esto es lo que tengo hasta ahora:

import urllib, urllib2
import logging
# the path and filename to save your cookies in
COOKIEFILE = ''cookies.lwp''
cj = None
ClientCookie = None
cookielib = None
logger = logging.getLogger(__name__)
# Let''s see if cookielib is available
try:
import cookielib
except ImportError:
logger.debug(''importing cookielib failed. Trying ClientCookie'')
try:
import ClientCookie
except ImportError:
logger.debug(''ClientCookie isn/'t available either'')
urlopen = urllib2.urlopen
Request = urllib2.Request
else:
logger.debug(''imported ClientCookie succesfully'')
urlopen = ClientCookie.urlopen
Request = ClientCookie.Request
cj = ClientCookie.LWPCookieJar()
else:
logger.debug(''Successfully imported cookielib'')
urlopen = urllib2.urlopen
Request = urllib2.Request
# This is a subclass of FileCookieJar
# that has useful load and save methods
cj = cookielib.LWPCookieJar()
login_params = {''name'': ''anon'', ''password'': ''pass'' }
def login(theurl, login_params):
init_cookies();
data = urllib.urlencode(login_params)
txheaders = {''User-agent'' : ''Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)''}
try:
# create a request object
req = Request(theurl, data, txheaders)
# and open it to return a handle on the url
handle = urlopen(req)
except IOError, e:
log.debug(''Failed to open "%s".'' % theurl)
if hasattr(e, ''code''):
log.debug(''Failed with error code - %s.'' % e.code)
elif hasattr(e, ''reason''):
log.debug("The error object has the following ''reason'' attribute :"+e.reason)
sys.exit()
else:
if cj is None:
log.debug(''We don/'t have a cookie library available - sorry.'')
else:
print ''These are the cookies we have received so far :''
for index, cookie in enumerate(cj):
print index, '' : '', cookie
# save the cookies again
cj.save(COOKIEFILE)
#return the data
return handle.read()
# FIXME: I need to fix this so that it takes into account any cookie data we may have stored
def get_page(*args, **query):
if len(args) != 1:
raise ValueError(
"post_page() takes exactly 1 argument (%d given)" % len(args)
)
url = args[0]
query = urllib.urlencode(list(query.iteritems()))
if not url.endswith(''/'') and query:
url += ''/''
if query:
url += "?" + query
resource = urllib.urlopen(url)
logger.debug(''GET url "%s" => "%s", code %d'' % (url,
resource.url,
resource.code))
return resource.read() 

Cuando intento iniciar sesión, paso el nombre de usuario y pwd correctos. sin embargo, el inicio de sesión falla y no se guardan datos de cookies.

Mis dos preguntas son:

• ¿Alguien puede ver qué está mal con la función de inicio de sesión () y cómo puedo solucionarlo?
• ¿Cómo puedo modificar la función get_page () para hacer uso de cualquier información de cookies que haya guardado?

Answer 1

Hay bastantes problemas con el código que has publicado. Por lo general, querrá crear un abridor personalizado que pueda manejar redirecciones, https, etc. De lo contrario, tendrá problemas. En cuanto a las cookies, debe llamar a los métodos de carga y guardado en su cookiejar , y usar una de las subclases, como MozillaCookieJar o LWPCookieJar .

Aquí hay una clase que escribí para iniciar sesión en Facebook, cuando jugaba a los juegos de Internet. Acabo de modificarlo para usar un cookiejar basado en archivos, en lugar de uno en memoria.

import cookielib
import os
import urllib
import urllib2
# set these to whatever your fb account is
fb_username = "[email protected]"
fb_password = "secretpassword"
cookie_filename = "facebook.cookies"
class WebGamePlayer(object):
def __init__(self, login, password):
""" Start up... """
self.login = login
self.password = password
self.cj = cookielib.MozillaCookieJar(cookie_filename)
if os.access(cookie_filename, os.F_OK):
self.cj.load()
self.opener = urllib2.build_opener(
urllib2.HTTPRedirectHandler(),
urllib2.HTTPHandler(debuglevel=0),
urllib2.HTTPSHandler(debuglevel=0),
urllib2.HTTPCookieProcessor(self.cj)
)
self.opener.addheaders = [
(''User-agent'', (''Mozilla/4.0 (compatible; MSIE 6.0; ''
''Windows NT 5.2; .NET CLR 1.1.4322)''))
]
# need this twice - once to set cookies, once to log in...
self.loginToFacebook()
self.loginToFacebook()
self.cj.save()
def loginToFacebook(self):
"""
Handle login. This should populate our cookie jar.
"""
login_data = urllib.urlencode({
''email'' : self.login,
''pass'' : self.password,
})
response = self.opener.open("https://login.facebook.com/login.php", login_data)
return ''''.join(response.readlines())
test = WebGamePlayer(fb_username, fb_password)

Después de configurar su nombre de usuario y contraseña, debería ver un archivo, facebook.cookies , con sus cookies en él. En la práctica, probablemente querrá modificarlo para verificar si tiene una cookie activa y usarla, y luego volver a iniciar sesión si se le niega el acceso.

Answer 2

Por favor, use ignore_discard y ignore_expires mientras guarda una cookie, en mi caso, se guardó OK.

self.cj.save(cookie_file, ignore_discard=True, ignore_expires=True)

Answer 3

Si está teniendo dificultades para hacer que sus solicitudes POST funcionen (como tuve con un formulario de inicio de sesión), definitivamente vale la pena instalar rápidamente la extensión de encabezados HTTP en vivo para Firefox (http://livehttpheaders.mozdev.org/index.html ). Esta pequeña extensión puede, entre otras cosas, mostrarle los datos POST exactos que se envían cuando inicia sesión manualmente.

En mi caso, me había golpeado la cabeza contra la pared durante horas porque el sitio insistía en un campo adicional con "acción = inicio de sesión" (¡doh!).