apache-spark - retainedjobs - spark port maxretries

Aplicación Spark Kill Running

Question

Tengo una aplicación Spark en ejecución donde ocupa todos los núcleos donde mis otras aplicaciones no recibirán ningún recurso.

Hice una investigación rápida y la gente sugirió usar YARN kill o / bin / spark-class para matar el comando. Sin embargo, estoy usando la versión CDH y / bin / spark-class ni siquiera existe, la aplicación YARN kill tampoco funciona.

¿Alguien puede estar conmigo con esto?

Answer 1

Puede llevar mucho tiempo obtener todos los ID de aplicación de YARN y eliminarlos uno por uno. Puede usar un Bash for loop para realizar esta tarea repetitiva de manera rápida y más eficiente como se muestra a continuación:

Elimine todas las aplicaciones en YARN que estén en estado ACEPTADO:

for x in $(yarn application -list -appStates ACCEPTED | awk ''NR > 2 { print $1 }''); do yarn application -kill $x; done

Elimine todas las aplicaciones en YARN que estén en estado EN EJECUCIÓN:

for x in $(yarn application -list -appStates RUNNING | awk ''NR > 2 { print $1 }''); do yarn application -kill $x; done

Answer 2

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_State_API

PUT http: // {rm http address: port} / ws / v1 / cluster / apps / {appid} / state

{
"state":"KILLED"
}

Answer 3

• copie el ID de la aplicación desde el planificador de chispas, por ejemplo application_1428487296152_25597
• conectarse al servidor que inició el trabajo
• yarn application -kill application_1428487296152_25597