hadoop - spark - hive summoners war

Diferencia entre los paquetes serde2.objectinspector y typeinfo

Question

¿Cuál es la diferencia entre estos dos paquetes?

• org.apache.hadoop.hive.serde2.objectinspector
• org.apache.hadoop.hive.serde2.typeinfo

¿Es una API más nueva? ¿Son ambos actuales, pero de alguna manera diferente? Parecen bastante similares a mí: /

Answer 1

1. ya que los dos paquetes ambos bajo el especificador serde2, creo que ambos están en uso actualmente
2. TypeInfo almacena información de un tipo, y cada tipo con exactamente un objeto para representarlo. por lo tanto, TypeInfo es solo un acuerdo de información de solo lectura con el tipo de objeto (categoría, nombre de tipo, etc.)
3. Hive tiene múltiples formatos de datos en memoria para un tipo determinado (por ejemplo, Integer: Integer, IntWritable y LazyInteger). los datos se almacenan en objetos y formatos / operaciones almacenados en el inspector de objetos. por lo que un objeto de datos y objectinspector representa una unidad de datos, se siente como que se puede deserializar el objeto, se usa la información provista por objectinspector.

Answer 2

Los ObjectInspectors se utilizan para serializar un objeto, como supongamos que está creando un servidor JSON y usando una biblioteca JSON para convertir objetos Java en JSON y viceversa, entonces el objeto Hive que recibe es una representación interna de la fila, esto debe convertirse en objeto java que luego se convertirá a JSON. para la conversión de Hive a JAVA, necesitamos objectInspectors, por ejemplo, ListObjectInspector.

Del mismo modo, cuando se deserializa convierte un JSON en un objeto de la fila Hive, para eso usamos la clase TypeInfo, por ejemplo, ListTypeInfo.