hadoop - how - mapreduce java example code

Error de HDFS puesto: `entrada '': No hay tal archivo o directorio

Question

He instalado hadoop 2.6.0 y estoy jugando con eso. Estoy probando la configuración Pseudo-distribuida y estoy siguiendo las instrucciones en http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Execution Estoy atascado en el 5º paso, es decir, cuando ejecuto el comando

 bin/hdfs dfs -put etc/hadoop input

Obtengo el siguiente error

15/02/02 00:35:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: `input'': No such file or directory

¿Por qué recibo este error? ¿Cómo puedo resolverlo?

Answer 1

En la pregunta anterior, dos partes:

1. Esto muestra una advertencia porque U debe usar 64bit uno y Hadoop Native Lib compilado en 32 bits. Es una advertencia por lo que no tendrá efecto en su código.
2. El segundo es un error básicamente porque no puede poner el archivo dentro de la carpeta de entrada. Necesitas crear una carpeta en hadoop usando el comando hadoop mkdir:

hadoop fs -mkdir / hadoopinput

O [Para la nueva versión]

hdfs dfs -mkdir / hadoopinput

Ahora U puede poner el archivo dentro de la carpeta:

hdfs dfs -put / Users / {username} / Desktop / file01 / hadoopinput

Para verificar que el archivo se copie dentro de la carpeta o no use el siguiente comando:

hdfs dfs -ls / hadoopinput

Answer 2

Además de lo que Ashrith escribió, también se puede agregar -p, en caso de que el directorio aún no se haya creado.

bin/hadoop fs -mkdir -p /path/to/hdfs/dir

Espero que esto ayude a alguien más.

Answer 3

Está obteniendo el error, porque no hay tal directorio especificado en la ruta. Por favor, eche un vistazo a mi respuesta a una pregunta similar que explica cómo hadoop interpreta las rutas relativas.

Asegúrese de crear el directorio primero usando:

bin/hadoop fs -mkdir input

y luego intente volver a ejecutar el comando -put .

Answer 4

SOLUCIONADO: 1. Haga su directorio en hdfs hdfs dfs -mkdir / input_file_name 2. Copie los datos a hdfs. hadoop fs -put nombre_archivo.txt / nombre_archivo_inicial / nombre_archivo_difusión

Answer 5

Hay dos errores, el primero es la biblioteca nativa de hadoop para su plataforma. Esto se debe a que no ha instalado hadoop winutils para su versión de hadoop. Verifique esta respuesta para obtener más detalles https://.com/a/46382570/6337190 El segundo error es que no existe dicho archivo o directorio. Esto se debe a que debe especificar la ruta correctamente. Cambia el directorio a tus comandos hadoop / bin / y write

Para hacer un directorio

hdfs dfs -mkdir / entrada

Para poner el archivo en el directorio

hdfs dfs -put /path/to/file.txt / input

Para verificar el archivo en el directorio

hdfs dfs -ls / entrada

Answer 6

Simplemente ponga "/" delante de la entrada ya que es un directorio.

./bin/hdfs dfs -put etc/hadoop /input

espero que esto ayude