apache - tutorial - mapreduce mongodb

Reductores fallando

Question

Estamos utilizando la máquina de 3 clústeres y la propiedad mapreduce.tasktracker.reduce.tasks.maximum está establecida en 9. Cuando configuro no de reducer es igual o inferior a 9, el trabajo se realiza correctamente, pero si configuro más de 9, está fallando. con la excepción "Task attempt_201701270751_0001_r_000000_0 no pudo hacer ping a TT durante 60 segundos. ¡Asesinato!". ¿Puede alguien guiarme cuál será el problema?

Answer 1

Parece haber algún error en hadoop -0.20.

https://issues.apache.org/jira/browse/MAPREDUCE-1905 (como referencia).

¿Puedes intentar aumentar el tiempo de espera de la tarea?

(mapreduce.task.timeout a un valor más alto) ( 0 desactivará el tiempo de espera )