java - descargar - mapreduce ibm

La escritura en HDFS solo se podría replicar en 0 nodos en lugar de minReplication(= 1)

Question

Tengo 3 nodos de datos en ejecución, mientras ejecuto un trabajo, obtengo el siguiente error a continuación:

java.io.IOException: el archivo / user / ashsshar / olhcache / loaderMap9b663bd9 solo se pudo replicar en 0 nodos en lugar de minReplication (= 1). Hay 3 datanode (s) en ejecución y 3 nodo (s) se excluyen en esta operación. en org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget (BlockManager.java:1325)

Este error se produce principalmente cuando nuestras instancias de DataNode se han quedado sin espacio o si DataNodes no se están ejecutando. Intenté reiniciar los DataNodes pero aún obtengo el mismo error.

Los informes dfsadmin en mis nodos de clúster muestran claramente que hay mucho espacio disponible.

No estoy seguro de por qué esto es así.

Answer 1

1. Compruebe si su DataNode se está ejecutando, use el comando: jps .
2. Si no se está ejecutando, espere un momento y vuelva a intentarlo.
3. Si se está ejecutando , creo que tiene que volver a formatear su DataNode.

Answer 2

1. Detener todos los demonios Hadoop

for x in `cd /etc/init.d ; ls hadoop*` ; do sudo service $x stop ; done

2.Retire todos los archivos de /var/lib/hadoop-hdfs/cache/hdfs/dfs/name

Eg: devan@Devan-PC:~$ sudo rm -r /var/lib/hadoop-hdfs/cache/

3.Format Namenode

sudo -u hdfs hdfs namenode -format

4. Inicia todos los demonios de Hadoop.

for x in `cd /etc/init.d ; ls hadoop*` ; do sudo service $x start ; done

Detener todos los servicios de Hadoop

Answer 3

Lo que normalmente hago cuando esto sucede es que voy al directorio tmp / hadoop-username / dfs / y elimino manualmente las carpetas de datos y nombres (asumiendo que se está ejecutando en un entorno Linux).

Luego formatee el dfs llamando a bin / hadoop namenode -format (asegúrese de responder con una Y mayúscula cuando se le pregunte si desea formatear; si no se le pregunta, vuelva a ejecutar el comando nuevamente).

A continuación, puede iniciar hadoop nuevamente llamando a bin / start-all.sh

Answer 4

Tuve el mismo problema, tenía muy poco espacio en el disco. Liberar el disco lo solucionó.

Answer 5

Tuve este problema y lo resolví de la siguiente manera:

1. Encuentre dónde están guardados sus metadatos / datos de datanode y namenode; Si no puede encontrarlo, simplemente ejecute este comando en Mac para encontrarlo (se encuentran en una carpeta llamada "tmp")

   encuentra / usr / local / Cellar / -name "tmp";

   El comando de búsqueda es así: encuentra <"directorio"> -nombre <"cualquier pista de cadena para ese directorio o archivo">

2. Después de encontrar ese archivo, cd en él. / usr / local / Cellar // hadoop / hdfs / tmp

   entonces cd a dfs

   luego, usando el comando -ls, vea que los directorios de datos y nombres están ubicados allí.

3. Usando el comando remove, elimine ambos:

   rm -R datos. y rm -R nombre

4. Vaya a la carpeta bin y finalice todo si ya no lo ha hecho:

   sbin / end-dfs.sh

5. Salir del servidor o localhost.

6. Vuelva a iniciar sesión en el servidor: ssh <"nombre de servidor">

7. iniciar el dfs:

   sbin / start-dfs.sh

8. Formatea el namenode para estar seguro:

   bin / hdfs namenode -format

9. ahora puede usar los comandos hdfs para cargar sus datos en dfs y ejecutar trabajos de MapReduce.

Answer 6

Solución muy simple para el mismo problema en Windows 8.1
Utilicé el sistema operativo Windows 8.1 y Hadoop 2.7.2. Hice lo siguiente para solucionar este problema.

1. Cuando comencé el formato hdfs namenode, noté que hay un bloqueo en mi directorio. por favor refiérase a la figura de abajo.
   
2. Una vez que eliminé la carpeta completa como se muestra a continuación, otra vez hice el formato de hdfs namenode.
   
3. Después de realizar los dos pasos anteriores, pude colocar con éxito mis archivos requeridos en el sistema HDFS. Utilicé el comando start-all.cmd para iniciar yarn y namenode.