hadoop - without - ubuntu copy and replace
Cómo sobrescribir los archivos existentes usando el comando hadoop fs-copyToLocal (8)
¿Hay alguna manera de que podamos sobreescribir los archivos existentes, mientras hacemos frente a HDFS usando:
hadoop fs -copyToLocal <HDFS PATH> <local path>
El -f me trabaja.
hdfs dfs -copyFromLocal -f [LOCALFILEPATH] [HDFSFILEPAHT]
La opción Force no está allí para ninguno de los comandos ( get / copytolocal ).
A continuación hay algunas opciones
option 1 .
Elimine el archivo en la máquina local con el comando rm .
y usa copyToLocal/get
option 2
o cambie el nombre de su archivo local a un nuevo nombre para que pueda tener el archivo con el mismo nombre que en el clúster. use el comando mv para eso.
Y usa el comando get/copyTolocal
option 3
cambie el nombre del archivo allí en el clúster y use copytolocal
hadoop fs -mv [oldpath] [newpath]
hadoop fs -copytolocal [newpath] .
Primero puede eliminar, luego escribir.
hadoop fs -rmr <path> elimina todo lo que se encuentra en una ruta determinada en hdfs, incluida la propia ruta
rm -rf <path> elimina en el sistema de archivos local.
Asegúrese de que no haya otro archivo en el directorio.
Puedes intentar esto:
bin/hadoop fs -rm /path_of_the_file | grep "0" | bin/hadoop fs -put ~/input_path /output_path
Puedes probar con distcp con -update. La principal ventaja es que se actualizará el objetivo solo cuando haya cambios en el archivo.
hadoop distcp -update file: // source hdfs: // namenode / target
hadoop distcp -update file:///home/hduser/pigSample/labfiles/SampleData/books.csv hdfs://10.184.37.158:9000/yesB
Usé el comando a continuación y me ayudó:
hadoop fs -put -f <<local path>> <<hdfs>>
pero a partir de poner documentos:
Copie src único o varios archivos desde el sistema de archivos local al sistema de archivos de destino.
-f opción hizo el truco
ejemplo:
bin>hdfs dfs -put -f D:/DEV/hadoopsampledata/mydata.json /input
fs -copyFromLocal -f $LOCAL_MOUNT_SRC_PATH/yourfilename.txt your_hdfs_file-path
La opción so -f hace el truco.
También funciona para -copyToLocal también.