official - ¿Qué es exactamente el formato de hadoop namenode?

hadoop system

Question

Qué está involucrado exactamente en el formato namenode. Si escribo el siguiente comando en mi terminal dentro de mi carpeta de instalación de hadoop:

  bin/hadoop namenode -format

¿Qué es exactamente lo que logra? Estoy buscando entender los principios del formato namenode y su significado. Gracias...

Answer 1

Hadoop NameNode es el lugar centralizado de un sistema de archivos HDFS que mantiene el árbol de directorios de todos los archivos en el sistema de archivos, y rastrea en qué parte del clúster se guardan los datos del archivo. En resumen, mantiene los metadatos relacionados con los nodos de datos. Cuando formateamos namenode, formatea los metadatos relacionados con los nodos de datos. Al hacerlo, toda la información en los nodos de datos se pierde y pueden reutilizarse para nuevos datos.

Answer 2

Simplemente di,

• NameNode contiene metadatos sobre datos almacenados en DataNodes ;
• Si NameNode está formateado, los metadatos solos se eliminan.
• Los datos originales en DataNode no se verán afectados;

Answer 3

hadoop namenode -format formatea su sistema de archivos en la ubicación especificada en hdfs-site.xml

aquí mi directorio namenode es /usr/local/hadoop/dfs/name

<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
<final>true</final>
</property>