.net - net - Encoding.UTF8.GetString no tiene en cuenta el Preámbulo/BOM

text encoding vb net

Question

En .NET, estoy tratando de usar el método Encoding.UTF8.GetString , que toma una matriz de bytes y la convierte en una string .

Parece que este método ignora la BOM (Marca de orden de bytes) , que podría ser parte de una representación binaria legítima de una cadena UTF8, y la toma como un carácter.

Sé que puedo usar un TextReader para digerir la lista de materiales según sea necesario, pero pensé que el método GetString debería ser una especie de macro que hace que nuestro código sea más corto.

¿Me estoy perdiendo de algo? ¿Es esto tan intencionalmente?

Aquí hay un código de reproducción:

static void Main(string[] args)
{
string s1 = "abc";
byte[] abcWithBom;
using (var ms = new MemoryStream())
using (var sw = new StreamWriter(ms, new UTF8Encoding(true)))
{
sw.Write(s1);
sw.Flush();
abcWithBom = ms.ToArray();
Console.WriteLine(FormatArray(abcWithBom)); // ef, bb, bf, 61, 62, 63
}
byte[] abcWithoutBom;
using (var ms = new MemoryStream())
using (var sw = new StreamWriter(ms, new UTF8Encoding(false)))
{
sw.Write(s1);
sw.Flush();
abcWithoutBom = ms.ToArray();
Console.WriteLine(FormatArray(abcWithoutBom)); // 61, 62, 63
}
var restore1 = Encoding.UTF8.GetString(abcWithoutBom);
Console.WriteLine(restore1.Length); // 3
Console.WriteLine(restore1); // abc
var restore2 = Encoding.UTF8.GetString(abcWithBom);
Console.WriteLine(restore2.Length); // 4 (!)
Console.WriteLine(restore2); // ?abc
}
private static string FormatArray(byte[] bytes1)
{
return string.Join(", ", from b in bytes1 select b.ToString("x"));
}

Answer 1

Parece que este método ignora la BOM (Marca de orden de bytes), que podría ser parte de una representación binaria legítima de una cadena UTF8, y la toma como un carácter.

No parece que lo "ignore" en absoluto, lo convierte fielmente en el personaje BOM. Eso es lo que es, después de todo.

Si desea hacer que su código ignore la lista de materiales en cualquier cadena que convierta, eso depende de usted ... o use StreamReader .

Tenga en cuenta que si utiliza Encoding.GetBytes seguido de Encoding.GetString o usa StreamWriter seguido de StreamReader , ambos formularios producirán y luego tragarán o no producirán la lista de materiales. Solo cuando mezcla con StreamWriter (que utiliza Encoding.GetPreamble ) con una llamada directa Encoding.GetString , termina con el carácter "extra".

Answer 2

Basado en la respuesta de Jon Skeet (¡gracias!), Así es como lo hice:

var memoryStream = new MemoryStream(byteArray);
var s = new StreamReader(memoryStream).ReadToEnd();

Tenga en cuenta que esto probablemente solo funcionará de manera confiable si hay una lista de materiales en la matriz de bytes desde la que está leyendo. De lo contrario, es posible que desee examinar otra sobrecarga del constructor de StreamReader que toma un parámetro de codificación para que pueda indicarle qué contiene la matriz de bytes.

Answer 3

Sé que llego un poco tarde a la fiesta, pero aquí está el código que estoy usando (siéntase libre de adaptarse a C #) si necesita:

 Public Function Serialize(Of YourXMLClass)(ByVal obj As YourXMLClass,
Optional ByVal omitXMLDeclaration As Boolean = True,
Optional ByVal omitXMLNamespace As Boolean = True) As String
Dim serializer As New XmlSerializer(obj.GetType)
Using memStream As New MemoryStream()
Dim settings As New XmlWriterSettings() With {
.Encoding = Encoding.UTF8,
.Indent = True,
.OmitXmlDeclaration = omitXMLDeclaration}
Using writer As XmlWriter = XmlWriter.Create(memStream, settings)
Dim xns As New XmlSerializerNamespaces
If (omitXMLNamespace) Then xns.Add("", "")
serializer.Serialize(writer, obj, xns)
End Using
Return Encoding.UTF8.GetString(memStream.ToArray())
End Using
End Function
Public Function Deserialize(Of YourXMLClass)(ByVal obj As YourXMLClass, ByVal xml As String) As YourXMLClass
Dim result As YourXMLClass
Dim serializer As New XmlSerializer(GetType(YourXMLClass))
Using memStream As New MemoryStream()
Dim bytes As Byte() = Encoding.UTF8.GetBytes(xml.ToArray)
memStream.Write(bytes, 0, bytes.Count)
memStream.Seek(0, SeekOrigin.Begin)
Using reader As XmlReader = XmlReader.Create(memStream)
result = DirectCast(serializer.Deserialize(reader), YourXMLClass)
End Using
End Using
Return result
End Function