hive - tables - Colmena Tabla externa-Archivo CSV- Fila de encabezado

tablas externas hive

Question

A continuación está la tabla de colmenas que he creado:

CREATE EXTERNAL TABLE Activity (
  column1 type, </br>
  column2 type
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '',''
LOCATION ''/exttable/'';

En mi ubicación / exttable HDFS, tengo muchos archivos CSV y cada archivo CSV también contiene la fila del encabezado. Cuando realizo consultas selectivas, el resultado también contiene la fila del encabezado.

¿Hay alguna forma de HIVE en la que podamos ignorar la fila del encabezado o la primera línea?

Answer 1

No hay. Sin embargo, puede preprocesar sus archivos para omitir la primera fila antes de cargar en HDFS -

tail -n +2 withfirstrow.csv > withoutfirstrow.csv

Alternativamente, puedes construirlo en la cláusula where en HIVE para ignorar la primera fila.

Answer 2

Si está utilizando Hive versión 0.13.0 o superior, puede especificar "skip.header.line.count" = "1" en las propiedades de la tabla para eliminar el encabezado.

Para obtener información detallada sobre el parche, consulte: https://issues.apache.org/jira/browse/HIVE-5795.

Answer 3

ahora puede omitir el recuento de encabezado en la sección 0.13.0.

tblproperties ("skip.header.line.count"="1");

Answer 4

Si su versión de colmena no es compatible con tblproperties ("skip.header.line.count" = "1"), puede utilizar el siguiente comando de Unix para ignorar la primera línea (encabezado de columna) y luego colocarlo en HDFS.

 sed -n ''2,$p'' File_with_header.csv > File_with_No_header.csv

Answer 5

Para eliminar el encabezado del archivo csv en su lugar, use:

sed -i 1d filename.csv