online - hadoop para mac

Donde HDFS almacena datos

Question

Estoy tratando de entender dónde hadoop almacena datos en HDFS. Me refiero a los archivos de configuración a saber: core-site.xml y hdfs-site.xml

La propiedad que he establecido es:

• En core-site.xml :

  <property>
      <name>hadoop.tmp.dir</name>
      <value>/hadoop/tmp</value>
  </property>

• En hdfs-site.xml :

  <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/hadoop/hdfs/namenode</value>
  </property>
  
  <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/hadoop/hdfs/datanode</value>
  </property>

Con la disposición anterior, como dfs.datanode.data.dir , los bloques de datos deben almacenarse en este directorio. ¿Es esto correcto?

Me referí al enlace de apache hadoop, y de eso veo esto:

• core-default.xml : hadoop.tmp.dir -> Una base para otros directorios temporales.

• hdfs-default.xml dfs.datanode.data.dir -> Determina dónde en el sistema de archivos local un nodo de datos DFS debe almacenar sus bloques.

  El valor predeterminado para esta propiedad es -> file://${hadoop.tmp.dir}/dfs/data

Ya que proporcioné explícitamente el valor para dfs.datanode.data.dir ( hdfs-site.xml ), ¿significa que los datos se almacenarán en esa ubicación? Si es así, ¿se agregaría dfs / data al directorio a ${dfs.datanode.data.dir} , específicamente se convertiría en -> /hadoop/hdfs/datanode/dfs/data ?

Sin embargo no vi que esta estructura de directorios se creara.

Una observación que vi en mi env:

Vi que después de ejecutar algunos programas de MapReduce , este directorio se crea, a saber: /hadoop/tmp/dfs/data se está creando.

Por lo tanto, no estoy seguro si los datos se almacenan en el directorio como lo sugiere la propiedad dfs.datanode.data.dir.

Alguien tiene una experiencia similar?

Answer 1

Los datos de los archivos hdfs se almacenarán en el directorio especificado en dfs.datanode.data.dir , y el sufijo /dfs/data que ve en el valor predeterminado no se agregará.

Si edita hdfs-site.xml , tendrá que reiniciar el servicio DataNode para que el cambio surta efecto. También recuerde que cambiar el valor eliminará la capacidad del servicio DataNode para suministrar bloques que se almacenaron en la ubicación anterior.

Por último, encima tiene sus valores especificados con el file:/... lugar del file://... Los URI de archivo necesitan esa barra adicional, por lo que podría estar causando que estos valores vuelvan a los valores predeterminados.