amazon s3 - que - Exportando Hive Table a un cubo S3

emr significado

Question

He creado una tabla Hive a través de una sesión interactiva de Elastic MapReduce y la he rellenado desde un archivo CSV como este:

CREATE TABLE csvimport(id BIGINT, time STRING, log STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ''/t'';
LOAD DATA LOCAL INPATH ''/home/hadoop/file.csv'' OVERWRITE INTO TABLE csvimport;

Ahora quiero almacenar la tabla Hive en un cubo S3 para que la tabla se conserve una vez que termine la instancia de MapReduce.

¿Alguien sabe como hacer esto?

Answer 1

Above Query necesita usar una palabra clave EXTERNA, es decir:

CREATE EXTERNAL TABLE csvexport ( id BIGINT, time STRING, log STRING )
row format delimited fields terminated by '','' lines terminated by ''/n''
STORED AS TEXTFILE LOCATION ''s3n://bucket/directory/'';
INSERT OVERWRITE TABLE csvexport select id, time, log from csvimport;

Otra alternativa es utilizar la consulta.

INSERT OVERWRITE DIRECTORY ''s3n://bucket/directory/'' select id, time, log from csvimport;

La tabla se almacena en el directorio S3 con delimitadores predeterminados de HIVE.

Answer 2

Sí, tiene que exportar e importar sus datos al inicio y al final de su sesión de Hive

Para hacer esto, necesita crear una tabla que se asigne a un cubo y directorio de S3

CREATE TABLE csvexport (
id BIGINT, time STRING, log STRING
)
row format delimited fields terminated by '',''
lines terminated by ''/n''
STORED AS TEXTFILE
LOCATION ''s3n://bucket/directory/'';

Insertar datos en la tabla s3 y cuando la inserción esté completa, el directorio tendrá un archivo csv

 INSERT OVERWRITE TABLE csvexport
select id, time, log
from csvimport;

Ahora se conserva su tabla y cuando crea una nueva instancia de Hive puede volver a importar sus datos

Su tabla se puede almacenar en diferentes formatos dependiendo de dónde quiera usarla.

Answer 3

Si pudiera acceder a la consola aws y tener la " Access Key Id " y la " Secret Access Key " para su cuenta

Puedes probar esto también ..

CREATE TABLE csvexport(id BIGINT, time STRING, log STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ''/t''
LOCATION ''s3n://"access id":"secret key"@bucket/folder/path'';

Ahora inserte los datos como se indica anteriormente.

INSERT OVERWRITE TABLE csvexport select id, time, log from csvimport;