hadoop - tipos - ¿Cómo se asignan los campos en Hive para la exportación de la consola DynamoDb Amazon?

tipos de tablas en hive

Question

Estoy intentando cargar el archivo de exportación de DynamoDb que está tomado de la consola web de Amazon Dynamodb con la herramienta "Importar / Exportar" en Hive. Pero no pude asignar los campos correctamente porque la herramienta "Exportar" de DynamoDB Web Console usa "ETX" "STX".

A continuación se muestra una fila de ejemplo que terminó con [LF]

Elapsed[ETX]{"n":"1477"}[STX]Device[ETX]{"n":"3"}[STX]Date[ETX]{"s":"2014-03-05T12:13:00.852Z"}[STX]Duration[ETX]{"n":"8075"}[LF]

¿Cuál debería ser la consulta para esto?

CREATE EXTERNAL TABLE IF NOT EXISTS TableNameHere (creationDate string, device bigint, duration bigint, elapsed bigint)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '','' ???This is where i got stuck??? 
LOCATION ''s3://abcdefg/ino/2015-05-28_12.22'';

ACTUALIZAR

He actualizado la consulta pero no funcionó de nuevo.

''/ 002'' para STX
''/ 012'' para LF

CREATE EXTERNAL TABLE IF NOT EXISTS TableNameHere  (creationDate string, device bigint, duration bigint, elapsed bigint)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ''/002'' 
                     LINES TERMINATED BY ''/012''
LOCATION ''s3://abcdefg/ino/2015-05-28_12.22'';

Resultado de la consulta:

Elapsed{"n":"0"}   Device{"n":"3"}   Duration{"n":"1073876"}   Date{"s":"2014-01-27T00:52:25.491Z"}     

Entonces, ¿cómo puedo analizar estos datos? Necesito mapear campos. ¿Debo usar un SerDe personalizado?

Answer 1

Creo que ya hay un SerDe para eso: https://github.com/lyft/dynamodb-hive-serde