apache spark - sources - Cómo detener la ejecución de la aplicación Spark Streaming con gracia?

spark streaming kafka

Question

¿Cómo detengo la transmisión de chispa? Mi trabajo de encendido por chispa se ejecuta continuamente. Quiero parar de una manera elegante.

He visto la opción siguiente para cerrar la aplicación de transmisión.

sparkConf.set("spark.streaming.stopGracefullyOnShutdown","true")

Configuración de chispa: propiedades disponibles

Pero, ¿cómo actualizo este parámetro en una aplicación en ejecución?

Answer 1

Eche un vistazo a este blogpost . Es la forma "más agradable" de terminar grácilmente un trabajo de transmisión que he encontrado.

Cómo pasar la señal de apagado:

Ahora sabemos cómo asegurar un apagado elegante en la transmisión de chispa. Pero ¿cómo podemos pasar la señal de apagado para encender la transmisión? Una opción ingenua es usar el comando CTRL + C en la terminal de la pantalla donde ejecutamos el programa del controlador, pero obviamente no es una buena opción. Una solución, que estoy usando es, grep el proceso del conductor de la chispa de transmisión y enviar una señal SIGTERM. Cuando el conductor recibe esta señal, inicia el apagado correcto de la aplicación. Podemos escribir el comando como se muestra a continuación en algunas secuencias de comandos de shell y ejecutar la secuencia de comandos para pasar la señal de apagado:

ps -ef | grep spark | grep | awk ''{print $ 2}'' | xargs kill -SIGTERM

por ejemplo, ps -ef | grep spark | grep DataPipelineStreamDriver | awk ''{print $ 2}'' | xargs kill -SIGTERM