python - AWS EMR realiza una secuencia de comandos "bootstrap" en todas las máquinas que ya están en ejecución en el clúster

amazon-web-services boto

Question

Tengo un clúster EMR que se ejecuta 24/7. No puedo apagarlo y lanzar el nuevo.

Lo que me gustaría hacer es realizar algo como una acción de arranque en el clúster que ya se está ejecutando, preferiblemente usando Python y boto o AWS CLI.

Me imagino haciendo esto en 2 pasos:

1) ejecute el script en todas las instancias en ejecución (sería bueno si eso fuera posible de alguna manera, por ejemplo, desde boto)

2) agregar la secuencia de comandos a las acciones de arranque para el caso que me gustaría cambiar el tamaño del clúster.

Entonces mi pregunta es: ¿Es posible algo como esto usar boto o al menos AWS CLI? Estoy revisando la documentación y el código fuente en github, pero no puedo descubrir cómo agregar nuevas acciones de "arranque" cuando el clúster ya se está ejecutando.

Answer 1

Respuesta tardía, pero le daré una oportunidad:

Eso va a ser duro.

Puede instalar Amazon SSM Agent y usar la interfaz de comandos remotos para iniciar un comando en todas las instancias. Sin embargo, tendrá que asignar los roles de SSM apropiados a las instancias, lo que requerirá la reconstrucción del AFAIK de clúster. Sin embargo, cualquier comando futuro no requerirá la reconstrucción.

Entonces podría usar la CLI para ejecutar comandos en todos los nodos (probablemente también en boto, no lo he comprobado).