python3 - python get https

¿Qué errores/excepciones debo manejar con urllib2.Request/urlopen?

Question

Tengo el siguiente código para hacer una devolución de datos a una URL remota:

request = urllib2.Request(''http://www.example.com'', postBackData, { ''User-Agent'' : ''My User Agent'' })

try: 
    response = urllib2.urlopen(request)
except urllib2.HTTPError, e:
    checksLogger.error(''HTTPError = '' + str(e.code))
except urllib2.URLError, e:
    checksLogger.error(''URLError = '' + str(e.reason))
except httplib.HTTPException, e:
    checksLogger.error(''HTTPException'')

El postBackData se crea usando un diccionario codificado usando urllib.urlencode. checksLogger es un registrador que usa el logging .

Tuve un problema donde este código se ejecuta cuando el servidor remoto está inactivo y el código sale (esto está en los servidores del cliente, así que no sé cuál es el volcado / error de la pila de salida en este momento). Estoy asumiendo que esto se debe a que hay una excepción y / o error que no se está manejando. Entonces, ¿hay alguna otra excepción que pueda desencadenarse que no estoy manejando arriba?

Answer 1

Añadir manejador de excepción genérico:

request = urllib2.Request(''http://www.example.com'', postBackData, { ''User-Agent'' : ''My User Agent'' })

try: 
    response = urllib2.urlopen(request)
except urllib2.HTTPError, e:
    checksLogger.error(''HTTPError = '' + str(e.code))
except urllib2.URLError, e:
    checksLogger.error(''URLError = '' + str(e.reason))
except httplib.HTTPException, e:
    checksLogger.error(''HTTPException'')
except Exception:
    import traceback
    checksLogger.error(''generic exception: '' + traceback.format_exc())

Answer 2

Desde la entrada de urlopen página de documentos , parece que solo necesita capturar URLError . Si realmente desea cubrir sus apuestas contra los problemas dentro del código urllib, también puede detectar Exception como un retroceso. No solo except: ya que eso atrapará también a SystemExit y KeyboardInterrupt .

Editar: Lo que quiero decir es que estás atrapando los errores que se supone que arroja. Si está arrojando algo más, probablemente se debe a que el código urllib no detecta algo que debería haber capturado y envuelto en un URLError . Incluso el stdlib tiende a perder cosas simples como AttributeError . La Exception captura como un retroceso (y el registro de lo capturado) te ayudará a descubrir lo que está sucediendo, sin atrapar SystemExit y KeyboardInterrupt .

Answer 3

Puede capturar todas las excepciones y registrar lo que se atrapó:

 import sys
 import traceback
 def formatExceptionInfo(maxTBlevel=5):
     cla, exc, trbk = sys.exc_info()
     excName = cla.__name__
     try:
         excArgs = exc.__dict__["args"]
     except KeyError:
         excArgs = "<no args>"
     excTb = traceback.format_tb(trbk, maxTBlevel)
     return (excName, excArgs, excTb)
 try:
     x = x + 1
 except:
     print formatExceptionInfo()

(Código de http://www.linuxjournal.com/article/5821 )

Lea también la documentación en sys.exc_info .

Answer 4

Yo agarro:

httplib.HTTPException
urllib2.HTTPError
urllib2.URLError

Creo que esto cubre todo, incluidos los errores de socket.

Answer 5

$ grep "raise" /usr/lib64/python/urllib2.py
IOError); for HTTP errors, raises an HTTPError, which can also be
        raise AttributeError, attr
                raise ValueError, "unknown url type: %s" % self.__original
        # XXX raise an exception if no one else should try to handle
        raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
        perform the redirect.  Otherwise, raise HTTPError if no-one
            raise HTTPError(req.get_full_url(), code, msg, headers, fp)
                raise HTTPError(req.get_full_url(), code,
            raise HTTPError(req.get_full_url(), 401, "digest auth failed",
                raise ValueError("AbstractDigestAuthHandler doesn''t know "
            raise URLError(''no host given'')
            raise URLError(''no host given'')
            raise URLError(err)
        raise URLError(''unknown url type: %s'' % type)
        raise URLError(''file not on local host'')
            raise IOError, (''ftp error'', ''no host given'')
            raise URLError(msg)
            raise IOError, (''ftp error'', msg), sys.exc_info()[2]
            raise GopherError(''no host given'')

También existe la posibilidad de excepciones en dependencias urllib2, o de excepciones causadas por errores genuinos.

Lo mejor es que registre todas las excepciones no detectadas en un archivo a través de un sys.excepthook personalizado. La regla principal aquí es nunca capturar las excepciones que no está planeando corregir , y el registro no es una corrección . Así que no los atrape solo para registrarlos.