amazon s3 - que - Exportando Hive Table a un cubo S3

emr significado

Question

He creado una tabla Hive a través de una sesión interactiva de Elastic MapReduce y la he rellenado desde un archivo CSV como este:

CREATE TABLE csvimport(id BIGINT, time STRING, log STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ''/t'';

LOAD DATA LOCAL INPATH ''/home/hadoop/file.csv'' OVERWRITE INTO TABLE csvimport;

Ahora quiero almacenar la tabla Hive en un cubo S3 para que la tabla se conserve una vez que termine la instancia de MapReduce.

¿Alguien sabe como hacer esto?

Answer 1

Above Query necesita usar una palabra clave EXTERNA, es decir:

CREATE EXTERNAL TABLE csvexport ( id BIGINT, time STRING, log STRING ) 
row format delimited fields terminated by '','' lines terminated by ''/n'' 
STORED AS TEXTFILE LOCATION ''s3n://bucket/directory/'';
INSERT OVERWRITE TABLE csvexport select id, time, log from csvimport;

Otra alternativa es utilizar la consulta.

INSERT OVERWRITE DIRECTORY ''s3n://bucket/directory/''  select id, time, log from csvimport;

La tabla se almacena en el directorio S3 con delimitadores predeterminados de HIVE.

Answer 2

Sí, tiene que exportar e importar sus datos al inicio y al final de su sesión de Hive

Para hacer esto, necesita crear una tabla que se asigne a un cubo y directorio de S3

CREATE TABLE csvexport (
  id BIGINT, time STRING, log STRING
  ) 
 row format delimited fields terminated by '','' 
 lines terminated by ''/n'' 
 STORED AS TEXTFILE
 LOCATION ''s3n://bucket/directory/'';

Insertar datos en la tabla s3 y cuando la inserción esté completa, el directorio tendrá un archivo csv

 INSERT OVERWRITE TABLE csvexport 
 select id, time, log
 from csvimport;

Ahora se conserva su tabla y cuando crea una nueva instancia de Hive puede volver a importar sus datos

Su tabla se puede almacenar en diferentes formatos dependiendo de dónde quiera usarla.

Answer 3

Si pudiera acceder a la consola aws y tener la " Access Key Id " y la " Secret Access Key " para su cuenta

Puedes probar esto también ..

CREATE TABLE csvexport(id BIGINT, time STRING, log STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ''/t''
LOCATION ''s3n://"access id":"secret key"@bucket/folder/path'';

Ahora inserte los datos como se indica anteriormente.

INSERT OVERWRITE TABLE csvexport select id, time, log from csvimport;