separar - ¿Cómo reemplazar los caracteres Unicode por los caracteres ASCII en Python(script perl dado)?

string en python

Question

Estoy tratando de aprender python y no pude averiguar cómo traducir la siguiente secuencia de comandos perl a python:

#!/usr/bin/perl -w
use open qw(:std :utf8);
while(<>) {
s//x{00E4}/ae/;
s//x{00F6}/oe/;
s//x{00FC}/ue/;
print;
}

El script solo cambia las diéresis de Unicode a una salida ascii alternativa. (Así que la salida completa está en ascii). Le agradecería cualquier sugerencia. ¡Gracias!

Answer 1

Para convertir a ASCII puede probar ASCII, Dammit o esta receta , que se reduce a:

>>> title = u"Klüft skräms inför på fédéral électoral große"
>>> import unicodedata
>>> unicodedata.normalize(''NFKD'', title).encode(''ascii'',''ignore'')
''Kluft skrams infor pa federal electoral groe''

Answer 2

Puede intentar unidecode para convertir Unicode en ascii en lugar de escribir expresiones regulares manuales. Es un puerto Python del módulo Perl de Text::Unidecode :

#!/usr/bin/env python
import fileinput
import locale
from contextlib import closing
from unidecode import unidecode # $ pip install unidecode
def toascii(files=None, encoding=None, bufsize=-1):
if encoding is None:
encoding = locale.getpreferredencoding(False)
with closing(fileinput.FileInput(files=files, bufsize=bufsize)) as file:
for line in file:
print unidecode(line.decode(encoding)),
if __name__ == "__main__":
import sys
toascii(encoding=sys.argv.pop(1) if len(sys.argv) > 1 else None)

Utiliza la clase FileInput para evitar el estado global.

Ejemplo:

$ echo ''äöüß'' | python toascii.py utf-8
aouss

Answer 3

Yo uso translitcodec

>>> import translitcodec
>>> print ''/xe4''.decode(''latin-1'')
ä
>>> print ''/xe4''.decode(''latin-1'').encode(''translit/long'').encode(''ascii'')
ae
>>> print ''/xe4''.decode(''latin-1'').encode(''translit/short'').encode(''ascii'')
a

Puedes cambiar el lenguaje de decodificación a lo que necesites. Es posible que desee una función simple para reducir la longitud de una sola implementación.

def fancy2ascii(s):
return s.decode(''latin-1'').encode(''translit/long'').encode(''ascii'')

Answer 4

• Utilice el módulo de entrada de archivo para pasar sobre la entrada estándar o una lista de archivos,
• decodifica las líneas que lees de UTF-8 a objetos Unicode
• A continuación, asigne los caracteres Unicode que desee con el método de translate

translit.py se vería así:

#!/usr/bin/env python2.6
# -*- coding: utf-8 -*-
import fileinput
table = {
0xe4: u''ae'',
ord(u''ö''): u''oe'',
ord(u''ü''): u''ue'',
ord(u''ß''): None,
}
for line in fileinput.input():
s = line.decode(''utf8'')
print s.translate(table), 

Y podrías usarlo así:

$ cat utf8.txt
sömé täßt
sömé täßt
sömé täßt
$ ./translit.py utf8.txt
soemé taet
soemé taet
soemé taet

• Actualizar:

En caso de que esté usando python, las cadenas son unicode por defecto y no necesita codificarlas si contienen caracteres no ASCII o incluso caracteres no latinos. Entonces la solución se verá como sigue:

line = ''Verhältnismäßigkeit, Möglichkeit''
table = {
ord(''ä''): ''ae'',
ord(''ö''): ''oe'',
ord(''ü''): ''ue'',
ord(''ß''): ''ss'',
}
line.translate(table)
>>> ''Verhaeltnismaessigkeit, Moeglichkeit''