apache-spark - retainedjobs - spark port maxretries

¿Cómo evitar que Spark Executors se pierda al usar el modo de cliente YARN?

Question

Hola, tengo un trabajo de Spark que funciona bien localmente con menos datos, pero cuando lo programo en YARN para ejecutar sigo recibiendo el siguiente ERROR y lentamente todos los ejecutores se eliminan de la IU y mi trabajo falla

15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 8 on myhost1.com: remote Rpc client disassociated
15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 6 on myhost2.com: remote Rpc client disassociated

Uso el siguiente comando para programar chispa en el modo yarn-client

 ./spark-submit --class com.xyz.MySpark --conf "spark.executor.extraJavaOptions=-XX:MaxPermSize=512M" --driver-java-options -XX:MaxPermSize=512m --driver-memory 3g --master yarn-client --executor-memory 2G --executor-cores 8 --num-executors 12  /home/myuser/myspark-1.0.jar

No sé cuál es el problema, por favor guía. Soy nuevo en Spark. Gracias por adelantado.

Answer 1

Tuve un problema muy similar. Tenía muchos ejecutores perdidos sin importar cuánta memoria les asignamos.

La solución si está usando hilo era establecer --conf spark.yarn.executor.memoryOverhead=600 , alternativamente, si su clúster usa mesos, puede probar --conf spark.mesos.executor.memoryOverhead=600 lugar.

Parece que no estábamos dejando suficiente memoria para el propio YARN y los contenedores fueron eliminados por eso. Después de configurar eso, hemos tenido diferentes errores de memoria, pero no el mismo problema de ejecutor perdido.

Answer 2

Yo también estaba enfrentando el mismo problema. Para mí eliminar registros y liberar más espacio hdfs trabajado.