c# - unidades - ¿Cómo obtendría una matriz de puntos de código Unicode de una cadena.NET?

encoding utf-8 c#

Question

Tengo una lista de restricciones de rango de caracteres con las que necesito verificar una cadena, pero el tipo de char en .NET es UTF-16 y, por lo tanto, algunos caracteres se vuelven pares extraños (sustitutos). Por lo tanto, al enumerar todos los caracteres en una string , no obtengo los puntos de código Unicode de 32 bits y algunas comparaciones con valores altos fallan.

Entiendo a Unicode lo suficientemente bien como para analizar los bytes si es necesario, pero estoy buscando una solución BCL para C # / .NET Framework. Asi que ...

¿Cómo convertiría una string a una matriz ( int[] ) de puntos de código Unicode de 32 bits?

Answer 1

No parece que deba ser mucho más complicado que esto:

public static IEnumerable<int> Utf32CodePoints( this IEnumerable<char> s )
{
  bool      useBigEndian = !BitConverter.IsLittleEndian;
  Encoding  utf32        = new UTF32Encoding( useBigEndian , false , true ) ;
  byte[]    octets       = utf32.GetBytes( s ) ;

  for ( int i = 0 ; i < octets.Length ; i+=4 )
  {
    int codePoint = BitConverter.ToInt32(octets,i);
    yield return codePoint;
  }

}

Answer 2

Se me ocurrió el mismo enfoque sugerido por Nicholas (y Jeppe), pero más corto:

    public static IEnumerable<int> GetCodePoints(this string s) {
        var utf32 = new UTF32Encoding(!BitConverter.IsLittleEndian, false, true);
        var bytes = utf32.GetBytes(s);
        return Enumerable.Range(0, bytes.Length / 4).Select(i => BitConverter.ToInt32(bytes, i * 4));
    }

La enumeración era todo lo que necesitaba, pero obtener una matriz es trivial:

int[] codePoints = myString.GetCodePoints().ToArray();

Answer 3

Usted está preguntando acerca de los puntos de código . En UTF-16 (C # ''s char ) solo hay dos posibilidades:

1. El carácter es del plano básico multilingüe y está codificado por una sola unidad de código.
2. El carácter está fuera de la BMP y se codifica utilizando un par de unidades de código alto-bajo surrogare

Por lo tanto, asumiendo que la cadena es válida, esto devuelve una matriz de puntos de código para una cadena dada:

public static int[] ToCodePoints(string str)
{
    if (str == null)
        throw new ArgumentNullException("str");

    var codePoints = new List<int>(str.Length);
    for (int i = 0; i < str.Length; i++)
    {
        codePoints.Add(Char.ConvertToUtf32(str, i));
        if (Char.IsHighSurrogate(str[i]))
            i += 1;
    }

    return codePoints.ToArray();
}

Un ejemplo con un par suplente 🌀 y un carácter compuesto ñ :

ToCodePoints("/U0001F300 El Ni/u006E/u0303o");                        // 🌀 El Niño
// { 0x1f300, 0x20, 0x45, 0x6c, 0x20, 0x4e, 0x69, 0x6e, 0x303, 0x6f } // 🌀   E l   N i n ̃◌ o

Aquí hay otro ejemplo. Estos dos puntos de código representan una nota musical número 32 con un acento de staccato, ambos pares sustitutos:

ToCodePoints("/U0001D162/U0001D181");              // 𝅘𝅥𝅰𝆁
// { 0x1d162, 0x1d181 }                            // 𝅘𝅥𝅰 𝆁◌

Cuando C-normalized , se descomponen en una cabeza de nota, combinando raíz, combinando bandera y combinando acento-staccato, todos los pares sustitutos:

ToCodePoints("/U0001D162/U0001D181".Normalize());  // 𝅘𝅥𝅰𝆁
// { 0x1d158, 0x1d165, 0x1d170, 0x1d181 }          // 𝅘 𝅥 𝅰 𝆁◌

Tenga en cuenta que la solución de leppie no es correcta. La pregunta es sobre puntos de código , no elementos de texto . Un elemento de texto es una combinación de puntos de código que juntos forman un solo grafema. Por ejemplo, en el ejemplo anterior, la ñ en la cadena está representada por una minúscula latina n seguida de una tilde combinada ̃◌ . La solución de Leppie descarta cualquier carácter de combinación que no pueda normalizarse en un solo punto de código.

Answer 4

Esta respuesta no es correcta. Vea la respuesta de @ Virtlink para la correcta.

static int[] ExtractScalars(string s)
{
  if (!s.IsNormalized())
  {
    s = s.Normalize();
  }

  List<int> chars = new List<int>((s.Length * 3) / 2);

  var ee = StringInfo.GetTextElementEnumerator(s);

  while (ee.MoveNext())
  {
    string e = ee.GetTextElement();
    chars.Add(char.ConvertToUtf32(e, 0));
  }

  return chars.ToArray();
}

Notas : Se requiere la normalización para tratar con caracteres compuestos.