java - función - mapreduce google

Obtenga la cantidad de entradas y salidas de MapReduce en Java

Question

Quiero obtener el número de entradas y salidas de la fase del mapa y la fase de reducción y el tiempo del trabajo completo de mapa / reducción con Java. Estas estadísticas están escritas en el terminal, pero necesito obtenerlo con un código Java y escribirlo en mi propia interfaz, justo después de la línea:

job_blocking.waitForCompletion(true);

Answer 1

Después de esta línea, puede obtener el número de MAP_INPUT_RECORDS y REDUCE_OUTPUT_RECORDS (también MAP_OUTPUT_RECORDS), obteniendo los valores de esos contadores:

long map_input_records = job.getCounters()
    .findCounter("org.apache.hadoop.mapreduce.Task$Counter","MAP_INPUT_RECORDS")
    .getValue();
long map_output_records = job.getCounters()
    .findCounter("org.apache.hadoop.mapreduce.Task$Counter","MAP_OUTPUT_RECORDS")
    .getValue();
long reduce_input_records = job.getCounters()
    .findCounter("org.apache.hadoop.mapreduce.Task$Counter","REDUCE_INPUT_RECORDS")
    .getValue();
long reduce_output_records = job.getCounters()
    .findCounter("org.apache.hadoop.mapreduce.Task$Counter","REDUCE_OUTPUT_RECORDS")
    .getValue();

Durante el tiempo necesario para ejecutar el trabajo, no sé si hay otra forma (más fácil) que establecer una variable larga con la hora actual antes y después de que se ejecute y obtener la diferencia.