apache-spark - retainedjobs - spark port maxretries
AplicaciĆ³n Spark Kill Running (3)
Tengo una aplicación Spark en ejecución donde ocupa todos los núcleos donde mis otras aplicaciones no recibirán ningún recurso.
Hice una investigación rápida y la gente sugirió usar YARN kill o / bin / spark-class para matar el comando. Sin embargo, estoy usando la versión CDH y / bin / spark-class ni siquiera existe, la aplicación YARN kill tampoco funciona.
¿Alguien puede estar conmigo con esto?
Puede llevar mucho tiempo obtener todos los ID de aplicación de YARN y eliminarlos uno por uno. Puede usar un Bash for loop para realizar esta tarea repetitiva de manera rápida y más eficiente como se muestra a continuación:
Elimine todas las aplicaciones en YARN que estén en estado ACEPTADO:
for x in $(yarn application -list -appStates ACCEPTED | awk ''NR > 2 { print $1 }''); do yarn application -kill $x; done
Elimine todas las aplicaciones en YARN que estén en estado EN EJECUCIÓN:
for x in $(yarn application -list -appStates RUNNING | awk ''NR > 2 { print $1 }''); do yarn application -kill $x; done
PUT http: // {rm http address: port} / ws / v1 / cluster / apps / {appid} / state
{
"state":"KILLED"
}
- copie el ID de la aplicación desde el planificador de chispas, por ejemplo application_1428487296152_25597
- conectarse al servidor que inició el trabajo
-
yarn application -kill application_1428487296152_25597