spark retainedjobs maxretries jars deploy defaultcores apache-spark yarn pyspark

apache-spark - retainedjobs - spark port maxretries



AplicaciĆ³n Spark Kill Running (3)

Tengo una aplicación Spark en ejecución donde ocupa todos los núcleos donde mis otras aplicaciones no recibirán ningún recurso.

Hice una investigación rápida y la gente sugirió usar YARN kill o / bin / spark-class para matar el comando. Sin embargo, estoy usando la versión CDH y / bin / spark-class ni siquiera existe, la aplicación YARN kill tampoco funciona.

¿Alguien puede estar conmigo con esto?


Puede llevar mucho tiempo obtener todos los ID de aplicación de YARN y eliminarlos uno por uno. Puede usar un Bash for loop para realizar esta tarea repetitiva de manera rápida y más eficiente como se muestra a continuación:

Elimine todas las aplicaciones en YARN que estén en estado ACEPTADO:

for x in $(yarn application -list -appStates ACCEPTED | awk ''NR > 2 { print $1 }''); do yarn application -kill $x; done

Elimine todas las aplicaciones en YARN que estén en estado EN EJECUCIÓN:

for x in $(yarn application -list -appStates RUNNING | awk ''NR > 2 { print $1 }''); do yarn application -kill $x; done



  • copie el ID de la aplicación desde el planificador de chispas, por ejemplo application_1428487296152_25597
  • conectarse al servidor que inició el trabajo
  • yarn application -kill application_1428487296152_25597