for - Falta el directorio/conf de Hadoop

install hadoop ubuntu

Question

Estoy tratando de instalar una configuración de nodo único de Hadoop en Ubuntu. Comencé a seguir las instrucciones de los documentos de Hadoop 2.3 .

Pero parece que me falta algo muy simple.

Primero, dice a

Para obtener una distribución de Hadoop, descargue una versión estable reciente de uno de los espejos de descarga de Apache.

Entonces,

Desembale la distribución de Hadoop descargada. En la distribución, edite el archivo conf / hadoop-env.sh para definir al menos JAVA_HOME como la raíz de su instalación de Java.

Sin embargo, parece que no puedo encontrar el directorio conf .

Descargué una versión de 2.3 en uno de los espejos . Luego desempaquetó el tarball, devuelve un ls del interior:

$ ls
bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share

Pude encontrar el archivo al que hacían referencia, pero no en un directorio conf :

$ find . -name hadoop-env.sh
./etc/hadoop/hadoop-env.sh

¿Me estoy perdiendo algo, o estoy agarrando el paquete equivocado? ¿O los documentos están desactualizados?

Si es así, ¿alguien sabe dónde están algunos documentos más actualizados?

Answer 1

Creo que los documentos necesitan ser actualizados. Aunque la estructura del directorio ha cambiado, los nombres de los archivos importantes como hadoop-env.sh, core-ste.xml y hdfs-site.xml no han cambiado. Puede encontrar el siguiente enlace útil para comenzar.

http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html

Answer 2

En Hadoop1,

{$HADOOP_HOME}/conf/

En Hadoop2,

{$HADOOP_HOME}/etc/hadoop

Answer 3

Estoy tratando de instalar un modo pseudo-distribuido Hadoop, corriendo en el mismo problema.

Al seguir el libro Hadoop The Definitive Guide (Tercera edición) , en la página 618, dice:

In Hadoop 2.0 and later, MapReduce runs on YARN and there is an additional con-
figuration file called yarn-site.xml. All the configuration files should go in the
etc/hadoop subdirectory

Espero que esto confirme que etc/hadoop es el lugar correcto.

Answer 4

Solo agregando una nota en la publicación del blog http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html . La entrada del blog es fantástica y muy útil. Así es como empecé. Un aspecto que me tomó un poco de tiempo es que este blog parece utilizar una forma simplificada de proporcionar configuración en los archivos de configuración de hadoop como "conf / core-site.xml", hdfs-site.xml, etc. como sigue

<!--fs.default.name is the name node URI -->
<configuration>
    fs.default.name
    hdfs://localhost:9000
</configuration>

Según los documentos oficiales, existe una forma más rigurosa: eso sería útil si tiene más de una propiedad agregándolo de la siguiente manera (tenga en cuenta que la descripción es opcional :-))

<configuration>
    <property>
    <name> fs.default.name </name>
    <value>hdfs://localhost:9000 </value>
    <description>the name node URI </description>
    </property>
    <!--Add more configuration properties here -->
</configuration>

Answer 5

en Hadoop 2.7.3 el archivo está en hadoop-common / src / main / conf /

$ sudo find . -name hadoop-env.sh
./hadoop-2.7.3-src/hadoop-common-project/hadoop-common/src/main/conf/hadoop-env.sh