puertos - Cómo programar tareas de mapa de hadoop en diferentes clústeres de nodos

mapreduce ejemplo

Question

Tengo un único programa de mapas que tiene más de 10 mapas. Mi clúster tiene 5 nodos, mi pregunta es: ¿puedo programar la ejecución de las tareas de mapa a qué nodo? Por ejemplo, permita que el mapa N ° 1 que se ejecuta en el nodo 1, el mapa n. ° 3 se ejecute en el nodo 3 y el n. ° 9 se ejecute en el nodo 5. Si puedo hacerlo, entonces qué cambio en mi código y archivo de configuración es necesario. Por cierto, uso HDFS. ¡Gracias!

Answer 1

No se puede establecer la afinidad en Hadoop para la asignación de la tarea del mapa al nodo. El planificador decide automáticamente en función del estado de ubicación / ranura de datos donde ejecutar una tarea de Mapa.