hadoop - commands - comandos hdfs dfs

¿Dónde HDFS almacena los archivos localmente de forma predeterminada?

Question

Estoy ejecutando hadoop con configuración predeterminada con clúster de un nodo, y me gustaría encontrar dónde HDFS almacena archivos localmente.

¿Algunas ideas?

Gracias.

Answer 1

Como "respuesta más reciente" y para aclarar los números de versión de hadoop:

Si usas Hadoop 1.2.1 (o algo similar), la respuesta de @Binary Nerd sigue siendo cierta.

Pero si usa Hadoop 2.1.0-beta (o algo similar), debe leer la documentación de configuración here y la opción que desea establecer es: dfs.datanode.data.dir

Answer 2

Ejecuta esto en el prompt de cmd y obtendrás la ubicación de HDFS:

bin/hadoop fs -ls /

Answer 3

Para hadoop 3.0.0, la ruta raíz de hdfs es la dada por la propiedad "dfs.datanode.data.dir"

Answer 4

Parece que para la versión actual (2.7.1) el directorio es

/tmp/hadoop-${user.name}/dfs/data

Basado en dfs.datanode.data.dir , configuración de hadoop.tmp.dir desde: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml

Answer 5

Debe buscar en su archivo de configuración hdfs-default.xml la configuración dfs.data.dir . La configuración predeterminada es: $ {hadoop.tmp.dir} / dfs / data y tenga en cuenta que $ {hadoop.tmp.dir} está realmente en core-default.xml descrito here .

Las opciones de configuración se describen here . La descripción de esta configuración es:

Determina en qué parte del sistema de archivos local un nodo de datos DFS debe almacenar sus bloques. Si se trata de una lista de directorios delimitada por comas, los datos se almacenarán en todos los directorios nombrados, normalmente en diferentes dispositivos. Los directorios que no existen se ignoran.