Forzar la codificación del vector de caracteres de "desconocido" a "UTF-8" en R

character-encoding data.table

Question

Tengo un problema con la codificación inconsistente del vector de caracteres en R.

El archivo de texto del que leí una tabla está codificado (a través de Notepad++ ) en UTF-8 (también probé con UTF-8 without BOM ).

Quiero leer la tabla de este archivo de texto, convertirla en data.table , establecer una key y hacer uso de la búsqueda binaria. Cuando intenté hacerlo, apareció lo siguiente:

Mensaje de advertencia: En [.data.table (poli.dt, "żżonymi", mult = "first"): Se detectó una codificación conocida (latin1 o UTF-8) en una columna de unión. data.table compara los bytes actualmente, por lo que no admite bien las codificaciones mixtas ; es decir, utilizando tanto latin1 como UTF-8, o si alguna de las codificaciones desconocidas son no ascii y algunas de ellas están marcadas como conocidas y otras no. Pero si se usa exclusivamente latin1 o UTF-8, y todas las codificaciones desconocidas son ascii, entonces el resultado debería estar bien. En el futuro verificaremos por usted y evitaremos esta advertencia si todo está bien. La parte difícil es hacer esto sin afectar el rendimiento en casos solo de ascii.

y la búsqueda binaria no funciona .

Me di cuenta de que mi columna data.table - key consta de los tipos de codificación "desconocido" y "UTF-8":

> table(Encoding(poli.dt$word))
unknown   UTF-8 
2061312 2739122 

Intenté convertir esta columna (antes de crear un objeto data.table ) con el uso de:

• Encoding(word) <- "UTF-8"
• word<- enc2utf8(word)

pero sin efecto

También probé algunas formas diferentes de leer un archivo en R (configurando todos los parámetros útiles, por ejemplo, encoding = "UTF-8" ):

• data.table::fread
• utils::read.table
• base::scan
• colbycol::cbc.read.table

pero sin efecto

==================================================

Mi R.version:

> R.version
           _                           
platform       x86_64-w64-mingw32          
arch           x86_64                      
os             mingw32                     
system         x86_64, mingw32             
status                                     
major          3                           
minor          0.3                         
year           2014                        
month          03                          
day            06                          
svn rev        65126                       
language       R                           
version.string R version 3.0.3 (2014-03-06)
nickname       Warm Puppy  

Información de mi sesión:

> sessionInfo()
R version 3.0.3 (2014-03-06)
Platform: x86_64-w64-mingw32/x64 (64-bit)

locale:
[1] LC_COLLATE=Polish_Poland.1250  LC_CTYPE=Polish_Poland.1250                LC_MONETARY=Polish_Poland.1250
[4] LC_NUMERIC=C                   LC_TIME=Polish_Poland.1250    

base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] data.table_1.9.2 colbycol_0.8     filehash_2.2-2   rJava_0.9-6     

loaded via a namespace (and not attached):
[1] plyr_1.8.1     Rcpp_0.11.1    reshape2_1.2.2 stringr_0.6.2  tools_3.0.3   

Answer 1

La función de Encoding devuelve unknown si una cadena de caracteres tiene una marca de "codificación nativa" (CP-1250 en su caso) o si está en ASCII. Para discriminar entre estos dos casos, llame a:

library(stringi)
stri_enc_mark(poli.dt$word)

Para verificar si cada cadena consta de secuencias de bytes UTF-8 válidas, llame a:

all(stri_enc_isutf8(poli.dt$word))

Si no es el caso, entonces su archivo no está en UTF-8 en absoluto.

Sospecho que no le ha indicado a R mientras leía el archivo que efectivamente está en UTF-8 (debería bastar con mirar el contenido de poli.dt$word para verificar esta declaración). Si mi suposición es cierta, intente:

read.csv2(file("filename", encoding="UTF-8"))

o

poli.dt$word <- stri_encode(poli.dt$word, "", "UTF-8") # re-mark encodings

Si data.table aún se queja de las codificaciones "mixtas", es posible que desee transliterar los caracteres que no son ASCII, por ejemplo:

stri_trans_general("Zażółć gęślą jaźń", "Latin-ASCII")
## [1] "Zazolc gesla jazn"

Answer 2

No pude encontrar una solución para un problema similar. No pude volver a traducir los caracteres de codificación desconocidos de un archivo txt en algo más manejable en R.

Por lo tanto, me encontraba en una situación en la que el mismo personaje aparecía más de una vez en el mismo conjunto de datos, porque estaba codificado de manera diferente ("X" en configuración latina y "X" en configuración griega). Sin embargo, la operación de guardar txt conservó esa diferencia de codificación, por supuesto, bien hecha.

Probando algunos de los métodos anteriores, nada funcionó. El problema está bien descrito "no se puede distinguir ASCII de UTF-8 y el bit no se mantendrá incluso si lo configura" .

Una buena solución es "exportar su data.frame a un archivo temporal CSV y volver a importar con data.table :: fread (), especificando Latin-1 como codificación de origen". .

Reproduciendo / copiando el ejemplo dado de la fuente anterior:

package(data.table) df <- your_data_frame_with_mixed_utf8_or_latin1_and_unknown_str_fields fwrite(df,"temp.csv") your_clean_data_table <- fread("temp.csv",encoding = "Latin-1")

Espero que ayude a alguien que.