hadoop - ¿Hay un comando hdfs para listar archivos en el directorio HDFS según la marca de tiempo?

Question

¿Hay un comando hdfs para listar archivos en el directorio HDFS según la marca de tiempo, ascendente o descendente? De forma predeterminada, el comando hdfs dfs -ls proporciona una lista de archivos sin clasificar.

Cuando busqué respuestas, obtuve una solución, es decir, hdfs dfs -ls /tmp | sort -k6,7 hdfs dfs -ls /tmp | sort -k6,7 . Pero, ¿hay alguna forma mejor, incorporada en la hdfs dfs comandos de hdfs dfs ?

Answer 1

No, no hay otra opción para ordenar los archivos en función de datetime.
Si está utilizando la versión hadoop <2.7, tendrá que usar sort -k6,7 como lo está haciendo:

hdfs dfs -ls /tmp | sort -k6,7

Y para el comando hadoop 2.7.x hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/… , hay las siguientes opciones disponibles:

Usage: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args>

Options:
-d: Directories are listed as plain files.
-h: Format file sizes in a human-readable fashion (eg 64.0m instead of 67108864).
-R: Recursively list subdirectories encountered.
-t: Sort output by modification time (most recent first).
-S: Sort output by file size.
-r: Reverse the sort order.
-u: Use access time rather than modification time for display and sorting.

Para que pueda ordenar fácilmente los archivos:

hdfs dfs -ls -t -R (-r) /tmp