amazon s3 - ¿Cómo ver la salida en Amazon EMR/S3?

amazon-s3 hive

Question

Soy nuevo en Amazon Services e intenté ejecutar la aplicación en Amazon EMR.

Para eso he seguido los pasos como:

1) Se crearon los Hive Scripts que contienen -> crear tabla, cargar la declaración de datos en Hive con algún archivo y seleccionar * del comando.

2) Creé el cubo S3. Y cargo el objeto como: Hive Script, File para cargar en la tabla.

3) Luego se creó el flujo de trabajo (usando el programa Sample Hive). Dada la entrada, la salida y la ruta del script (como s3n: //nombredelpaquete/script.q, s3n: //nombredelnúcleo/input.txt, s3n: // nombredelpaquete / salida /). No creó el directorio. Creo que se creará automáticamente.

4) Luego el flujo de trabajo comienza a funcionar y después de un tiempo vi los estados como INICIAR, ARRANCAR, EJECUTAR y APAGAR.

5) Mientras se ejecuta el estado APAGADO, se finaliza automáticamente mostrando el estado FALLOS para APAGAR.

Luego en el S3, no vi el directorio de salida. Cómo ver la salida? Vi un directorio como daemons, nodes, etc.

¿Y también cómo ver los datos de HDFS en Amazon EMR?

Answer 1

La ruta de salida que especificó en el paso 3 debe contener sus resultados (Según su descripción, es s3n: // nombredelpaquete / salida /)

Si no lo hace, algo salió mal con su script Hive. Si su trabajo Hive falló, encontrará información sobre la falla / excepción en el registro de Jobtracker. El registro de Jobtracker existe en <s3 log location>/daemons/<master instance name>/hadoop-hadoop-jobtracker-<some Amazon internal IP>.log

Solo un archivo en su directorio de registros tendrá su clave S3 en el formato anterior. Este archivo contendrá cualquier excepción que pueda haber sucedido. Es probable que desee concentrarse en la parte inferior del archivo.