hadoop - descargar - Cómo copiar archivos desde HDFS al sistema de archivos local

hadoop fs

Question

Cómo copiar archivos desde HDFS al sistema de archivos local. No hay una ubicación física de un archivo debajo del archivo, ni siquiera el directorio. ¿Cómo puedo moverlos a mi local para futuras validaciones? Estoy probado a través de winscp.

Answer 1

1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
3. Dirija su navegador web a HDFS WEBUI ( namenode_machine:50070 ), busque el archivo que desea copiar, desplácese hacia abajo y haga clic en descargar el archivo .

Answer 2

En Hadoop 2.0,

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

dónde,

• hdfs_input_file_path puede obtenerse de http://<<name_node_ip>>:50070/explorer.html

• output_path es la ruta local del archivo, donde se copiará el archivo.

• también puede usar get en lugar de copyToLocal .

Answer 3

Esto funcionó para mí en mi instancia de máquina virtual de Ubuntu.

hdfs dfs -copyToLocal [directorio de hadoop] [directorio local]

Answer 4

Para copiar archivos de HDFS al sistema de archivos local, se puede ejecutar el siguiente comando:

hadoop dfs -copyToLocal <input> <output>

• <input> : la ruta del directorio HDFS (ej. / mydata) que desea copiar
• <output> : la ruta del directorio de destino (p. ej. ~ / Documents)

Answer 5

puedes lograrlo de ambas maneras.

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

Ex:

Mis archivos se encuentran en /sourcedata/mydata.txt Quiero copiar el archivo al sistema de archivos local en esta ruta / usuario / ravi / mydata

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/

Answer 6

bin/hadoop fs -put /localfs/destination/path /hdfs/source/path