Python-¿Cómo validar una url en python?(Malformado o no)

malformedurlexception

Question

Tengo url del usuario y tengo que responder con el HTML extraído.

¿Cómo puedo verificar si la URL está mal formada o no?

Por ejemplo :

url=''google'' // Malformed
url=''google.com'' // Malformed
url=''http://google.com'' // Valid
url=''http://google'' // Malformed

¿Cómo podemos lograr esto?

Answer 1

django url validación regex:

regex = re.compile(
r''^(?:http|ftp)s?://'' # http:// or https://
r''(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?/.)+(?:[A-Z]{2,6}/.?|[A-Z0-9-]{2,}/.?)|'' #domain...
r''localhost|'' #localhost...
r''/d{1,3}/./d{1,3}/./d{1,3}/./d{1,3})'' # ...or ip
r''(?::/d+)?'' # optional port
r''(?:/?|[/?]/S+)$'', re.IGNORECASE)
print re.match(regex, "http://www.example.com") is not None # True
print re.match(regex, "example.com") is not None # False

Answer 2

Aterricé en esta página tratando de encontrar una forma sensata de validar las cadenas como URL "válidas". Comparto aquí mi solución usando python3. No se requieren bibliotecas adicionales.

Consulte https://docs.python.org/2/library/urlparse.html si está usando python2.

Consulte https://docs.python.org/3.0/library/urllib.parse.html si está usando python3 como yo.

import urllib
from pprint import pprint
invalid_url = ''dkakasdkjdjakdjadjfalskdjfalk''
valid_url = ''https://.com''
tokens = [urllib.parse.urlparse(url) for url in (invalid_url, valid_url)]
for token in tokens:
pprint(token)
min_attributes = (''scheme'', ''netloc'') # add attrs to your liking
for token in tokens:
if not all([getattr(token, attr) for attr in min_attributes]):
error = "''{url}'' string has no scheme or netloc.".format(url=token.geturl())
print(error)
else:
print("''{url}'' is probably a valid url.".format(url=token.geturl()))

ParseResult (scheme = '''', netloc = '''', path = ''dkakasdkjdjakdjadjfalskdjfalk'', params = '''', query = '''', fragmento = '''')

ParseResult (scheme = ''https'', netloc = ''.com'', path = '''', params = '''', query = '''', fragmento = '''')

La cadena ''dkakasdkjdjakdjadjfalskdjfalk'' no tiene esquema ni netloc.

'' Home '' es probablemente una URL válida.

Aquí hay una función más concisa:

import urllib
min_attributes = (''scheme'', ''netloc'')
def is_valid(url, qualifying=None):
qualifying = min_attributes if qualifying is None else qualifying
token = urllib.parse.urlparse(url)
return all([getattr(token, qualifying_attr)
for qualifying_attr in qualifying])

Answer 3

En realidad, creo que esta es la mejor manera.

from django.core.validators import URLValidator
from django.core.exceptions import ValidationError
val = URLValidator(verify_exists=False)
try:
val(''http://www.google.com'')
except ValidationError, e:
print e

Si establece verify_exists en True , realmente verificará que la URL exista; de lo contrario, solo comprobará si está formada correctamente.

editar: ah sí, esta pregunta es un duplicado de esto: ¿cómo puedo verificar si existe una URL con los validadores de Django?

Answer 4

Una versión True o False, basada en la respuesta @DMfll:

try:
# python2
from urlparse import urlparse
except:
# python3
from urllib.parse import urlparse
a = ''http://www.cwi.nl:80/%7Eguido/Python.html''
b = ''/data/Python.html''
c = 532
d = u''dkakasdkjdjakdjadjfalskdjfalk''
def uri_validator(x):
try:
result = urlparse(x)
return result.scheme and result.netloc and result.path
except:
return False
print(uri_validator(a))
print(uri_validator(b))
print(uri_validator(c))
print(uri_validator(d))

Da:

True
True
False
True

Answer 5

Usa el paquete de validadores :

>>> import validators
>>> validators.url("http://google.com")
True
>>> validators.url("http://google")
ValidationFailure(func=url, args={''value'': ''http://google'', ''require_tld'': True})
>>> if not validators.url("http://google"):
... print "not valid"
...
not valid
>>>

Instálelo con pip ( pip install validators ).

Answer 6

EDITAR Como señala @Kwame, el código valida la url incluso si teh .com, .co no están presentes.

Esto es simple y funciona:

Así que min_attr tiene la cadena básica que debe estar presente para definir la URL, es decir, http:// parte y parte de google.com .

urlparse.scheme almacena http:// y

urlparse.netloc almacena el nombre de dominio google.com

all() devuelve verdadero si todas las variables dentro devuelven verdadero. Entonces, si result.scheme y result.netloc está presente, la URL es válida y, por lo tanto, devuelve True .

from urlparse import urlparse
def url_check(url):
min_attr = (''scheme'' , ''netloc'')
try:
result = urlparse(url)
if all([result.scheme, result.netloc]):
return True
else:
return False
except:
return False

Answer 7

note - lepl ya no es compatible, lo siento (puede usarlo, y creo que el código siguiente funciona, pero no va a recibir actualizaciones).

rfc 3696 http://www.faqs.org/rfcs/rfc3696.html define cómo hacerlo (para http urls y correo electrónico). Implementé sus recomendaciones en python usando lepl (una biblioteca de analizador). ver http://acooke.org/lepl/rfc3696.html

usar:

> easy_install lepl
...
> python
...
>>> from lepl.apps.rfc3696 import HttpUrl
>>> validator = HttpUrl()
>>> validator(''google'')
False
>>> validator(''http://google'')
False
>>> validator(''http://google.com'')
True