hadoop - que - Reorganizar archivos en HDFS

hdfs tutorial

Question

Necesito mover archivos escritos por un trabajo Hive que se ve así

/foo/0000_0
/foo/0000_1
/bar/0000_0

en una estructura de archivos que se parece a esto

/foo/prefix1/prefix2-0000_0
/foo/prefix1/prefix2-0000_1
/bar/prefix1/prefix2-0000_0

antes de migrar esto fuera del clúster (usando s3distcp). He estado mirando alrededor de hadoop fs pero no puedo encontrar algo que me permita hacer esto. No quiero renombrar archivo por archivo.

Answer 1

primero, necesitas crear el subdirectorio dentro / foo. Para este uso, sigue el comando

$ hdfs dfs -mkdir / foo / prefix1

esto creará un subdirectorio en / foo. si desea crear más subdirectorio dentro del prefijo 1, use este mismo comando recursivamente con la estructura de ruta actualizada. En caso de que esté usando una versión anterior de Hadoop (1.x), reemplace hdfs por hadoop.

ahora puede mover archivos de / foo a / foo / prefix1 con el siguiente comando. Aquí el nombre de archivo nuevo puede ser cualquier nombre que quiera darle a su archivo.

$ hdfs dfs -mv / foo / filename / foo / prefix1 / newfilename

Espero que esto responda tu consulta