común - hdfs hadoop architecture

Hadoop 2.2 Instalación `. '' El fichero o directorio no existe

Question

He instalado Hadoop y HDFS usando este tutorial

http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html

Todo esta bien.

También puedo crear directorios y usarlos usando

hadoop fs -mkdir /tmp
hadoop fs -mkdir /small

También puedo decir

hadoop fs -ls /

Sin embargo, estoy siguiendo un tutorial en el que el entrenador

hadoop fs -mkdir temp
hadoop fs -ls

Ahora en mi máquina cuando publico el comando anterior dice

ls: `.'': No such file or directory

En mi video de entrenamiento, el comando hadoop fs -ls funciona perfectamente. ¿Por qué debería especificar el "/"?

También estoy recibiendo esta advertencia en todos mis comandos

13/12/28 20:23:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Pero en mi video de entrenadores no hay tal advertencia.

Mi archivo de configuración es exactamente como el tutorial anterior y también puedo ver todas las UI de administración en

http://abhishek-pc:8042/
http://abhishek-pc:50070/
http://abhishek-pc:8088/

Entonces, mi pregunta es qué hay de malo en mi configuración y por qué mi sistema se comporta de manera diferente que el video de capacitación.

Answer 1

Bueno, su problema con respecto a ls: ''.'': No such file or directory existe ls: ''.'': No such file or directory ''es porque, no hay un directorio de inicio en HDFS para su usuario actual. Tratar

hadoop fs -mkdir -p /user/[current login user]

Entonces podrás hadoop fs -ls

Según esta advertencia, WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable , vea mi respuesta a esta pregunta

Answer 2

Crear el directorio de inicio lo resolvió, pero ¿alguien puede explicar por qué demonios desapareció en primer lugar?

Answer 3

En primer lugar, cuando quiera por primera vez poner algo en su HDFS, debe seguir estos pasos

1. hdfs fs -mkdir -p /user/nameuser(the name of user )
2. hdfs fs -put ~/file

Answer 4

Esto también podría suceder debido a los malos caracteres de retorno de carro. Ejecute `dos2unix ''en todo el ejecutable de su hdfs (script de shell) y, si es necesario, también todos los demás scripts de shell relacionados.

Answer 5

Me enfrenté a un tipo similar de problema durante el tutorial por enlace de la forma hadoop-

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

cuando probé la entrada command- bin/hdfs dfs -put etc/hadoop input , dice

mkdir: `input'': No such file or directory

entonces el problema resuelto agregando extra / a la entrada y el comando debería ser:

bin/hdfs dfs -put etc/hadoop /input

Answer 6

Primero:

hdfs dfs -mkdir /user

luego realizar

hdfs dfs -mkdir /user/hduser

Answer 7

Resuelto esto Ejecute hadoop fs -ls como usuario de hdfs (no como usuario root). #su - hdfs.

Answer 8

después de hdfs dfs -mkdir /user/[user name]

hacer:

hadoop fs -ls /

¡Son obras de mi!