java - llap - how to use hadoop

Hadoop Hive no puede mover la fuente a destino

Question

Estoy intentando usar Hive 1.2.0 sobre Hadoop 2.6.0. Creé una tabla de employee . Sin embargo, cuando ejecuto la siguiente consulta:

hive> load data local inpath ''/home/abc/employeedetails'' into table employee;

Obtuve el siguiente error:

Failed with exception Unable to move source file:/home/abc/employeedetails to destination hdfs://localhost:9000/user/hive/warehouse/employee/employeedetails_copy_1
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

¿Qué mal estoy haciendo aquí? ¿Hay algún permiso específico que deba establecer? ¡Gracias por adelantado!

Answer 1

Como lo mencionó Rio, el problema involucraba la falta de permisos para cargar datos en la tabla de colmenas. Me imagino que el siguiente comando resuelve mis problemas:

hadoop fs -chmod g+w /user/hive/warehouse

Answer 2

El error puede deberse a un problema de permiso en el sistema de archivos local.

Cambiar el permiso para el sistema de archivos local:

sudo chmod -R 777 /home/abc/employeedetails

Ahora, ejecuta:

hive> load data local inpath ''/home/abc/employeedetails'' into table employee;

Answer 3

Si enfrentamos el mismo error Después de ejecutar el comando anterior en modo distribuido, podemos probar el siguiente comando en todos los superusuarios de todos los nodos. sudo usermod -a -G hdfs hilados Nota: obtenemos este error después de reiniciar todos los servicios de YARN (en AMBARI). Mi problema se resolvió. Este es el comando de administración que es mejor cuidar cuando se está ejecutando.

Answer 4

Vea el permiso para el directorio HDFS:

hdfs dfs -ls /user/hive/warehouse/employee/employeedetails_copy_1

Parece que no tiene permiso para cargar datos en la tabla de colmenas.