tutorial que puertos para necesito multinodo instalar común como cluster hadoop configuration process

puertos - Proceso de nodo de datos que no se ejecuta en Hadoop



puertos hadoop (26)

Configuré y configuré un clúster Hadoop de varios nodos utilizando este tutorial .

Cuando escribo el comando start-all.sh, muestra todos los procesos inicializándose correctamente de la siguiente manera:

starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-namenode-jawwadtest1.out jawwadtest1: starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-datanode-jawwadtest1.out jawwadtest2: starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-datanode-jawwadtest2.out jawwadtest1: starting secondarynamenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-secondarynamenode-jawwadtest1.out starting jobtracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-jobtracker-jawwadtest1.out jawwadtest1: starting tasktracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-tasktracker-jawwadtest1.out jawwadtest2: starting tasktracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-tasktracker-jawwadtest2.out

Sin embargo, cuando escribo el comando jps, obtengo el siguiente resultado:

31057 NameNode 4001 RunJar 6182 RunJar 31328 SecondaryNameNode 31411 JobTracker 32119 Jps 31560 TaskTracker

Como puede ver, no hay ningún proceso de nodo de datos ejecutándose. Intenté configurar un clúster de un solo nodo pero tuve el mismo problema. ¿Alguien tiene alguna idea de qué podría estar yendo mal aquí? ¿Hay algún archivo de configuración que no esté mencionado en el tutorial o que haya revisado? Soy nuevo en Hadoop y estoy un poco perdido y cualquier ayuda sería muy apreciada.

EDITAR: hadoop-root-datanode-jawwadtest1.log:

STARTUP_MSG: args = [] STARTUP_MSG: version = 1.0.3 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/$ ************************************************************/ 2012-08-09 23:07:30,717 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loa$ 2012-08-09 23:07:30,734 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapt$ 2012-08-09 23:07:30,735 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl:$ 2012-08-09 23:07:30,736 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl:$ 2012-08-09 23:07:31,018 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapt$ 2012-08-09 23:07:31,024 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl:$ 2012-08-09 23:07:32,366 INFO org.apache.hadoop.ipc.Client: Retrying connect to $ 2012-08-09 23:07:37,949 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: $ at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(Data$ at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransition$ at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNo$ at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java$ at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNod$ at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode($ at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataN$ at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.$ at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1$ 2012-08-09 23:07:37,951 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: S$ /************************************************************ SHUTDOWN_MSG: Shutting down DataNode at jawwadtest1/198.101.220.90 ************************************************************/

  1. Configuré hadoop.tmp.dir en conf / core-site.xml
  2. Configuré dfs.data.dir en conf / hdfs-site.xml
  3. Configuré dfs.name.dir en conf / hdfs-site.xml
  4. Se eliminó todo en el directorio "/ tmp / hadoop- /"

  5. Se cambiaron los permisos de archivos de 777 a 755 para el directorio enumerado en dfs.data.dir

    Y el nodo de datos comenzó a funcionar.

  1. Detener el dfs y el hilo primero.
  2. Elimine los directorios del nodo de datos y namenode como se especifica en el archivo core-site.xml.
  3. Vuelva a crear los directorios.

  4. Luego reinicie el dfs y el hilo de la siguiente manera.

    start-dfs.sh

    start-yarn.sh

    mr-jobhistory-daemon.sh start historyserver

    Espero que esto funcione bien.

Compruebe si la propiedad hadoop.tmp.dir en core-site.xml está configurada correctamente. Si lo configura, navegue a este directorio y elimine o vacíe este directorio. Si no lo configuró, navegue a su carpeta predeterminada /tmp/hadoop-${user.name} , de la misma manera elimine o vacíe este directorio.

Controle si la propiedad del directorio tmp apunta a un directorio válido en core-site.xml

<property> <name>hadoop.tmp.dir</name> <value>/home/hduser/data/tmp</value> </property>

Si el directorio está mal configurado, el proceso del nodo de datos no se iniciará correctamente.

Debe verificar:

/ app / hadoop / tmp / dfs / data / current / VERSION y / app / hadoop / tmp / dfs / name / current / VERSION ---

en esos dos archivos y en Namespace ID del nombre node y datanode.

Si y solo si el NamespaceID del nodo de datos es igual que el NamespaceID del nodo de nombre, entonces se ejecutará su node de datos.

Si son diferentes, copie el Namenode NamespaceID en el NamespaceID de su Datanode usando el editor vi o gedit, y guarde y vuelva a ejecutar los deamons para que funcione perfectamente.

Debes hacer algo como esto:

  • bin/stop-all.sh (o stop-dfs.sh y stop-yarn.sh en la serie 2.x)
  • rm -Rf /app/tmp/hadoop-your-username/*
  • bin/hadoop namenode -format (o hdfs en la serie 2.x)

la solución fue tomada de: http://pages.cs.brandeis.edu/~cs147a/lab/hadoop-troubleshooting/ . Básicamente consiste en reiniciar desde cero, así que asegúrese de no perder datos formateando el hdfs.

Detenga todos los servicios - ./stop-all.sh Formatee todo el directorio hdfs tmp de todos los maestros y esclavos. No te olvides de formatear desde el esclavo.

Formatee el namenode. (Hadoop namenode-format)

Ahora comienza los servicios en namenode. ./bin/start-all.sh

Esto marcó la diferencia para mí al iniciar el servicio de nodo de datos.

Ejecute los comandos debajo de línea: -

  1. stop-all.sh (Ejecutar detener todo para detener todo el proceso de hadoop)
  2. rm -r / usr / local / hadoop / tmp / (Su directorio Hadoop tmp que ha configurado en hadoop / conf / core-site.xml)
  3. sudo mkdir / usr / local / hadoop / tmp (hacer el mismo directorio de nuevo)
  4. hadoop namenode-format (Formatea tu namenode)
  5. start-all.sh (ejecutar Start All para iniciar todo el proceso de hadoop)
  6. JPS (Mostrará los procesos en ejecución)

En lugar de eliminar todo lo que se encuentra debajo del "dir de hadoop tmp", puede establecer otro. Por ejemplo, si core-site.xml tiene esta propiedad:

<property> <name>hadoop.tmp.dir</name> <value>/home/hduser/data/tmp</value> </property>

Puedes cambiar esto a:

<property> <name>hadoop.tmp.dir</name> <value>/home/hduser/data/tmp2</value> </property>

y luego scp core-site.xml a cada nodo, y luego "hadoop namenode-format", y luego reinicie hadoop.

Error en datanode.log

$ more /usr/local/hadoop/logs/hadoop-hduser-datanode-ubuntu.log

Muestra:

java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop_tmp/hdfs/datanode: namenode clusterID = CID-e4c3fed0-c2ce-4d8b-8bf3-c6388689eb82; datanode clusterID = CID-2fcfefc7-c931-4cda-8f89-1a67346a9b7c

Solución: Detenga su clúster y emita el siguiente comando y luego comience nuevamente su clúster.

sudo rm -rf /usr/local/hadoop_tmp/hdfs/datanode/*

Estaba teniendo el mismo problema al ejecutar una instancia pseudo-distribuida de un solo nodo. No se pudo resolver cómo solucionarlo, pero una solución rápida es iniciar manualmente un DataNode con
hadoop-xxx/bin/hadoop datanode

Esto es para una versión más nueva de Hadoop (estoy ejecutando 2.4.0)

  • En este caso, detenga el clúster sbin / stop-all.sh
  • Luego vaya a / etc / hadoop para los archivos de configuración.

En el archivo: hdfs-site.xml Busque las rutas de acceso de directorio correspondientes a dfs.namenode.name.dir dfs.namenode.data.dir

  • Eliminar ambos directorios recursivamente (rm -r).
  • Ahora formatee el namenode a través de bin / hadoop namenode -format
  • Y finalmente sbin / start-all.sh

Espero que esto ayude.

Incluso después de eliminar la reconstrucción de los directorios, el nodo de datos no se iniciaba. Entonces, comencé manualmente usando bin/hadoop datanode No llegó a ninguna conclusión. Abrí otra terminal con el mismo nombre de usuario e hice jps y me mostró el proceso de datanode en ejecución. Está funcionando, pero solo tengo que mantener la terminal inacabada abierta al costado.

Me encontré con el mismo problema. He creado una carpeta hdfs ''/ home / username / hdfs'' con nombres de subdirectorios, datos y tmp a los que se hace referencia en los archivos config xml de hadoop / conf.

Cuando comencé hadoop e hice jps, no pude encontrar datanode así que traté de iniciar manualmente el nodo de datos usando bin / hadoop datanode . Luego me di cuenta por un mensaje de error que tiene un problema de permisos para acceder al archivo dfs.data.dir = / home / username / hdfs / data / al que se hizo referencia en uno de los archivos de configuración de hadoop. Todo lo que tenía que hacer era detener hadoop, eliminar los contenidos del directorio / home / username / hdfs / tmp / * y luego probar este comando - chmod -R 755 /home/username/hdfs/ y luego iniciar hadoop. ¡Pude encontrar el nodo de datos!

Me enfrenté a un problema similar al ejecutar el nodo de datos. Los siguientes pasos fueron útiles.

  1. En el directorio [directorio_hadoop] / sbin, use ./stop-all.sh para detener todos los servicios en ejecución.
  2. Elimine el directorio tmp utilizando rm -r [directorio_hadoop] / tmp (La ruta configurada en [directorio_hadoop] /etc/hadoop/core-site.xml)
  3. sudo mkdir [hadoop_directory] / tmp (crear un nuevo directorio tmp)

  4. Vaya al directorio * / hadoop_store / hdfs donde ha creado namenode y datanode como subdirectorios. (Las rutas configuradas en [directorio_hadoop] /etc/hadoop/hdfs-site.xml). Utilizar

    rm -r namenode rm -r datanode

  5. En el uso del directorio * / hadoop_store / hdfs

    sudo mkdir namenode sudo mkdir datanode

En caso de problema de permiso, use

chmod -R 755 namenode chmod -R 755 datanode

  1. En el uso de [hadoop_directory] / bin

    hadoop namenode -format (To format your namenode)

  2. En el directorio [directorio_hadoop] / sbin, use ./start-all.sh o ./start-dfs.sh para iniciar los servicios.
  3. Use jps para verificar los servicios en ejecución.

Necesita seguir 3 pasos.

(1) Necesita ir a los registros y verificar el registro más reciente (en hadoop- 2.6.0 / logs / hadoop-user-datanode-ubuntu.log)

Si el error es como

java.io.IOException: clusterID incompatibles en / home / kutty / work / hadoop2data / dfs / data: namenode clusterID = CID-c41df580-e197-4db6-a02a-a62b71463089 ; datanode clusterID = CID-a5f4ba24-3a56-4125-9137-fa77c5bb07b1

es decir, las ID de id. de clúster de namenode y del clúster de datos no son idénticas.

(2) Ahora copie el ID de conjunto de namenode que es CID-c41df580-e197-4db6-a02a-a62b71463089 en el error anterior

(3) Reemplace la ID del clúster de nodo de datos con la ID del clúster de Namenode en hadoopdata / dfs / data / current / version

clusterID = CID-c41df580-e197-4db6-a02a-a62b71463089

Reinicie Hadoop. Ejecutará DataNode

Paso 1: - Stop-all.sh

Paso 2: - Llegué a este camino

cd /usr/local/hadoop/bin

Paso 3: ejecuta el comando hadoop datanode

Ahora funciona DataNode

Pruebe esto 1. stop-all.sh 2. vi hdfs-site.xml 3. cambie el valor dado para la propiedad dfs.data.dir 4. format namenode 5. start-all.sh

Siga estos pasos y su nodo de datos comenzará de nuevo.

  1. Detener dfs.
  2. Abra hdfs-site.xml
  3. Elimine de nuevo las propiedades data.dir y name.dir de hdfs-site.xml y -format namenode.
  4. A continuación, elimine el directorio hadoopdata y agregue data.dir y name.dir en hdfs-site.xml y vuelva a formatear namenode.
  5. Entonces comience dfs nuevamente.

Siga estos pasos y su nodo de datos comenzará de nuevo.

1) Detener dfs. 2) Abra hdfs-site.xml 3) Elimine de nuevo las propiedades data.dir y name.dir de hdfs-site.xml y -format namenode.

4) Luego comience dfs nuevamente.

Tengo detalles del problema en el archivo de registro como a continuación: "Directorio inválido en dfs.data.dir: Permiso incorrecto para / home / hdfs / dnman1, esperado: rwxr-xr-x , mientras que real: rwxrwxr-x" y de allí identifiqué que el permiso del archivo de notas de datos era 777 para mi carpeta. Corregí a 755 y comenzó a funcionar.

Tengo el mismo error. Intenté iniciar y detener dfs varias veces, borré todos los directorios que se mencionaron en las respuestas anteriores, pero nada ayudó.

El problema se resolvió solo después de reiniciar el sistema operativo y configurar Hadoop desde el principio. (configurar Hadoop desde cero sin reiniciar no funcionó)

Una vez que no pude encontrar el nodo de datos usando jps en hadoop, eliminé la carpeta actual en el directorio de hadoop installed ( /opt/hadoop-2.7.0/hadoop_data/dfs/data ) y reinicié hadoop usando start-all.sh y jps.

Esta vez pude encontrar el nodo de datos y la carpeta actual se creó de nuevo.

si formatear el directorio tmp no funciona, intente esto:

  1. primero detenga todas las entidades como namenode, datanode, etc. (tendrá algún script o comando para hacerlo)
  2. Formato de directorio tmp
  3. Vaya a / var / cache / hadoop-hdfs / hdfs / dfs / y borre todos los contenidos en el directorio manualmente
  4. Ahora formatee su namenode nuevamente
  5. inicie todas las entidades y luego use el comando jps para confirmar que el nodo de datos ha sido iniciado
  6. Ahora ejecuta cualquier aplicación que tengas

Espero que esto ayude.

mv /usr/local/hadoop_store/hdfs/datanode /usr/local/hadoop_store/hdfs/datanode.backup mkdir /usr/local/hadoop_store/hdfs/datanode hadoop datanode OR start-all.sh jps

  • Borre los archivos donde los datos y el nombre están en dfs.

En mi caso, tengo hadoop en Windows, en C: /, este archivo de acuerdo con core-site.xml, etc., estaba en tmp / Administrator / dfs / data ... name, etc, así que bórrelo.

Entonces, namenode-formateado. e intenta de nuevo,