python - from - Sobreescribiendo urllib2.HTTPError o urllib.error.HTTPError y leyendo HTML de respuesta de todos modos

urllib2 httperror python

Question

Recibo una respuesta ''HTTP Error 500: Internal Server Error'', pero aún quiero leer los datos dentro del error HTML.

Con Python 2.6, normalmente obtengo una página usando:

import urllib2
url = "http://google.com"
data = urllib2.urlopen(url)
data = data.read()

Cuando intento usar esto en la URL que falla, obtengo la excepción urllib2.HTTPError :

urllib2.HTTPError: HTTP Error 500: Internal Server Error

¿Cómo puedo buscar esas páginas de error (con o sin urllib2 ), todo mientras devuelven los errores internos del servidor?

Tenga en cuenta que con Python 3, la excepción correspondiente es urllib.error.HTTPError .

Answer 1

Si quieres decir que quieres leer el cuerpo del 500:

request = urllib2.Request(url, data, headers)
try:
        resp = urllib2.urlopen(request)
        print resp.read()
except urllib2.HTTPError, error:
        print "ERROR: ", error.read()

En su caso, no necesita compilar la solicitud. Solo haz

try:
        resp = urllib2.urlopen(url)
        print resp.read()
except urllib2.HTTPError, error:
        print "ERROR: ", error.read()

por lo tanto, no anula urllib2.HTTPError, solo maneja la excepción.

Answer 2

HTTPError es un objeto similar a un archivo . Puede atraparlo y luego read su contenido.

try:
    resp = urllib2.urlopen(url)
    contents = resp.read()
except urllib2.HTTPError, error:
    contents = error.read()

Answer 3

alist=[''http://someurl.com'']

def testUrl():
    errList=[]
    for URL in alist:
        try:
            urllib2.urlopen(URL)
        except urllib2.URLError, err:
            (err.reason != 200)
            errList.append(URL+" "+str(err.reason))
            return URL+" "+str(err.reason)
    return "".join(errList)

testUrl()