hadoop - Cómo reiniciar el hilo en AWS EMR

yarn (3)

Estoy usando Hadoop 2.6.0 (imagen emr-4.2.0 ). He realizado algunos cambios en yarn-site.xml y quiero reiniciar el hilo para que los cambios entren en vigor.

¿Hay algún comando con el que pueda hacer esto?

Para aquellos que van a venir de Google

Para reiniciar un servicio en EMR, realice las siguientes acciones:

Encuentre el nombre del servicio ejecutando el siguiente comando: initctl list

Por ejemplo, el servicio Administrador de recursos YARN se llama "hadoop-yarn-resourcemanager".

Detenga el servicio ejecutando el siguiente comando:

sudo stop hadoop-hilo-gestor de recursos

Espere unos segundos y luego inicie el servicio ejecutando el siguiente comando: sudo start hadoop-yarn-resourcemanager Nota: se requiere detener / iniciar; no use el comando de reinicio 4. Verifique que el proceso se esté ejecutando ejecutando el siguiente comando: sudo status hadoop-yarn-resourcemanager

Verifique el proceso usando ps, y luego revise el archivo de registro para ver si hay algún error en el directorio de registro / var / log /.

Fuente: https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

Si lo que desea hacer es habilitar la agregación de registros, en realidad es más fácil crear el clúster con log-aggregation ya habilitado, como se describe en la documentación:

http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html

(En realidad está habilitado por defecto si está usando emr-4.3.0 ).

Editar (26/10/2017): AWS ha publicado oficialmente un artículo más detallado del Centro de conocimiento sobre cómo hacerlo aquí - https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/ .

Puede ingresar al nodo maestro de su clúster EMR y ejecutar:

"sudo /sbin/stop hadoop-yarn-resourcemanager" "sudo /sbin/start hadoop-yarn-resourcemanager"

comandos para reiniciar el administrador de recursos de hilo. EMR AMI 4.xx utiliza upstart - / sbin / {start, stop, restart} son todos enlaces simbólicos a / sbin / initctl, que es parte del upstart. Consulte la página de manual initctl para más información.

Alternativamente, puede seguir las instrucciones aquí para propagar sus cambios a yarn-site.xml - yarn-change-configuration-on-yarn-site-xml