hadoop - application - hdfs dfs

¿Cómo imprimo las propiedades de hadoop en la línea de comandos?

Question

Solo encuentro la forma de establecer una propiedad mediante hadoop dfsadmin -D xx=yy ,

pero ¿cómo encuentro el valor de una propiedad específica xx en la línea de comandos?

Answer 1

Puede usar GenericOptionsParser para cargar la configuración de Hadoop en el objeto Tipo de configuración y iterar sus propiedades. Aquí hay un ejemplo que demuestra este enfoque a través de una clase de utilidad (Configurado).

public class ConfigPrinter extends Configured implements Tool {
static {
// by default core-site.xml is already added
// loading "hdfs-site.xml" from classpath
Configuration.addDefaultResource("hdfs-site.xml");
Configuration.addDefaultResource("mapred-site.xml");
}
@Override
public int run(String[] strings) throws Exception {
Configuration config = this.getConf();
for (Map.Entry<String, String> entry : config) {
System.out.println(entry.getKey() + " = " + entry.getValue());
}
return 0;
}
public static void main(String[] args) throws Exception {
ToolRunner.run(new ConfigPrinter(), args);
}
}

Answer 2

Puedes volcar la configuración de Hadoop ejecutando:

$ hadoop org.apache.hadoop.conf.Configuration