hadoop - commands - hdfs start

hdfs dfs-put con sobrescribir?

Question

estoy usando

hdfs dfs -put myfile mypath

y para algunos archivos me sale

put: ''myfile'': File Exists

• ¿Eso significa que hay un archivo con el mismo nombre o que el mismo archivo exacto (tamaño, contenido) ya está allí?
• ¿Cómo puedo especificar una opción de sobrescritura aquí?

¡Gracias!

Answer 1

1. Existe un archivo con el mismo nombre en la ubicación en la que intenta escribir.
2. Puede sobrescribir especificando el indicador -f.

Answer 2

Puede sobrescribir su archivo en hdfs usando el comando -f. Por ejemplo

hadoop fs -put -f <localfile> <hdfsDir>

O

hadoop fs -copyFromLocal -f <localfile> <hdfsDir>

Funcionó bien para mí. Sin embargo, el comando -f no funcionará en caso de comando get o copyToLocal. revisa esta pregunta

Answer 3

Solo se actualiza a esta respuesta, en Hadoop 3.X el comando es un poco diferente

hdfs dfs -put -f /local/to/path hdfs://localhost:9870/users/XXX/folder/folder2

Answer 4

put: ''myfile'': File Exists

Significa que el archivo llamado "myfile" ya existe en hdfs. No puede tener varios archivos del mismo nombre en hdfs

Puede sobrescribirlo usando hadoop fs -put -f /path_to_local /path_to_hdfs