utf8 - La codificación de cadenas de conversión de Ruby de ISO-8859-1 a UTF-8 no funciona

ruby encode utf-8

Question

Estoy tratando de convertir una cadena de codificación ISO-8859-1 a UTF-8, pero parece que no puedo hacer que funcione. Aquí hay un ejemplo de lo que hice en irb.

irb(main):050:0> string = ''Norrlandsvägen''
=> "Norrlandsvägen"
irb(main):051:0> string.force_encoding(''iso-8859-1'')
=> "Norrlandsv/xC3/xA4gen"
irb(main):052:0> string = string.encode(''utf-8'')
=> "Norrlandsvägen" 

No estoy seguro de por qué Norrlandsvägen en iso-8859-1 se convertirá en Norrlandsvägen en utf-8.

He intentado codificar, codificar, codificar (destinationEncoding, originalEncoding), iconv, force_encoding y todo tipo de soluciones de trabajo extrañas en las que podía pensar pero nada parece funcionar. ¿Puede alguien ayudarme / señalarme en la dirección correcta?

Novato Ruby todavía tirando del pelo como loco, pero sintiéndose agradecido por todas las respuestas aquí ... :)

Antecedentes de esta pregunta: estoy escribiendo una joya que descargará un archivo xml de algunos sitios web (que tendrá la codificación iso-8859-1) y lo guardará en un almacenamiento y me gustaría convertirlo primero a utf-8. Pero las palabras como Norrlandsvägen siguen arruinándome. ¡Realmente cualquier ayuda sería muy apreciada!

[ACTUALIZACIÓN]: me di cuenta de que ejecutar pruebas como esta en la consola irb podría darme comportamientos diferentes, así que esto es lo que tengo en mi código actual:

def convert_encoding(string, originalEncoding) 
  puts "#{string.encoding}" # ASCII-8BIT
  string.encode(originalEncoding)
  puts "#{string.encoding}" # still ASCII-8BIT
  string.encode!(''utf-8'')
end

pero la última línea me da el siguiente error:

Encoding::UndefinedConversionError - "/xC3" from ASCII-8BIT to UTF-8

Gracias a la respuesta de /xC3 continuación, noté que /xC3 aparece realmente en irb si ejecutas:

irb(main):001:0> string = ''ä''
=> "ä"
irb(main):002:0> string.force_encoding(''iso-8859-1'')
=> "/xC3/xA4"

También traté de asignar una nueva variable al resultado de string.encode(originalEncoding) pero obtuve un error aún más extraño:

newString = string.encode(originalEncoding)
puts "#{newString.encoding}" # can''t even get to this line...
newString.encode!(''utf-8'')

y el error es Encoding::UndefinedConversionError - "/xC3" to UTF-8 in conversion from ASCII-8BIT to UTF-8 to ISO-8859-1

Todavía estoy bastante perdido en todo este lío de codificación, pero estoy muy agradecido por todas las respuestas y la ayuda que todos me han brindado. ¡Gracias una tonelada! :)

Answer 1

Hay una diferencia entre force_encoding y encode . El primero establece la codificación para la cadena, mientras que el último realmente transcodifica el contenido de la cadena a la nueva codificación. En consecuencia, el siguiente código causa su problema:

string = "Norrlandsvägen"
string.force_encoding(''iso-8859-1'')
puts string.encode(''utf-8'') # Norrlandsvägen

Mientras que el siguiente código en realidad codificará correctamente sus contenidos:

string = "Norrlandsvägen".encode(''iso-8859-1'')
string.encode!(''utf-8'')

Aquí hay un ejemplo que se ejecuta en irb :

irb(main):023:0> string = "Norrlandsvägen".encode(''iso-8859-1'')
=> "Norrlandsv/xE4gen"
irb(main):024:0> string.encoding
=> #<Encoding:ISO-8859-1>
irb(main):025:0> string.encode!(''utf-8'')
=> "Norrlandsvägen"
irb(main):026:0> string.encoding
=> #<Encoding:UTF-8>

Answer 2

Usted asigna una cadena, en UTF-8. Contiene ä . UTF-8 representa ä con dos bytes.

string = ''ä''
string.encoding
# => #<Encoding:UTF-8>
string.length
# 1
string.bytes
# [195, 164]

Luego, fuerza los bytes a interpretar como si fueran ISO-8859-1, sin cambiar realmente la representación subyacente. Esto ya no contiene ä . Contiene dos caracteres, Ã y ¤ .

string.force_encoding(''iso-8859-1'')
# => "/xC3/xA4"
string.length
# 2
string.bytes
# [195, 164]

Luego lo UTF-8 en UTF-8 . Como esto no es una reinterpretación sino una traducción, mantienes los dos caracteres, pero ahora está codificado en UTF-8:

string = string.encode(''utf-8'')
# => "ä" 
string.length
# 2
string.bytes
# [195, 131, 194, 164]

Lo que te falta es el hecho de que originalmente no tienes una cadena ISO-8859-1, como lo harías con tu servicio web; tienes un galimatías. Afortunadamente, esto es todo en tus pruebas de consola; si lee la respuesta del sitio web utilizando la codificación de entrada adecuada, todo debería funcionar bien.

Para su prueba de consola, demostremos que si comienza con una cadena ISO-8859-1 adecuada, todo funciona:

string = ''Norrlandsvägen''.encode(''iso-8859-1'')
# => "Norrlandsv/xE4gen"
string = string.encode(''utf-8'')
# => "Norrlandsvägen"

EDITAR Para su problema específico, esto debería funcionar:

require ''net/https''
uri = URI.parse("https://rusta.easycruit.com/intranet/careerbuilder_se/export/xml/full")
options = {
  :use_ssl => uri.scheme == ''https'', 
  :verify_mode => OpenSSL::SSL::VERIFY_NONE
}
response = Net::HTTP.start(uri.host, uri.port, options) do |https|
  https.request(Net::HTTP::Get.new(uri.path))
end
body = response.body.force_encoding(''ISO-8859-1'').encode(''UTF-8'')