open - python unicode to utf8

Eliminar la puntuación de las cadenas formateadas Unicode

Question

Tengo una función que elimina la puntuación de una lista de cadenas:

def strip_punctuation(input):
x = 0
for word in input:
input[x] = re.sub(r''[^A-Za-z0-9 ]'', "", input[x])
x += 1
return input

Recientemente modifiqué mi script para usar cadenas Unicode para poder manejar otros caracteres no occidentales. Esta función se rompe cuando encuentra estos caracteres especiales y simplemente devuelve cadenas Unicode vacías. ¿Cómo puedo eliminar de manera confiable la puntuación de cadenas con formato Unicode?

Answer 1

Podría usar el método unicode.translate() :

import unicodedata
import sys
tbl = dict.fromkeys(i for i in xrange(sys.maxunicode)
if unicodedata.category(unichr(i)).startswith(''P''))
def remove_punctuation(text):
return text.translate(tbl)

También puede usar r''/p{P}'' que es compatible con el módulo regex :

import regex as re
def remove_punctuation(text):
return re.sub(ur"/p{P}+", "", text)

Answer 2

Puede iterar a través de la cadena usando la unicodedata de category del módulo unicodedata para determinar si el carácter es de puntuación.

Para conocer los posibles resultados de la category , consulte el documento de unicode.org en Valores generales de categoría

import unicodedata.category as cat
def strip_punctuation(word):
return "".join(char for char in word if cat(char).startswith(''P''))
filtered = [strip_punctuation(word) for word in input]

Además, asegúrese de que está manejando las codificaciones y los tipos correctamente. Esta presentación es un buen lugar para comenzar: http://bit.ly/unipain

Answer 3

Si quieres usar la solución de JF Sebastian en Python 3:

import unicodedata
import sys
tbl = dict.fromkeys(i for i in range(sys.maxunicode)
if unicodedata.category(chr(i)).startswith(''P''))
def remove_punctuation(text):
return text.translate(tbl)

Answer 4

Una versión más corta basada en la respuesta de Daenyth

import unicodedata
def strip_punctuation(text):
"""
>>> strip_punctuation(u''something'')
u''something''
>>> strip_punctuation(u''something.,:else really'')
u''somethingelse really''
"""
punctutation_cats = set([''Pc'', ''Pd'', ''Ps'', ''Pe'', ''Pi'', ''Pf'', ''Po''])
return ''''.join(x for x in text
if unicodedata.category(x) not in punctutation_cats)
input_data = [u''somehting'', u''something, else'', u''nothing.'']
without_punctuation = map(strip_punctuation, input_data)