hadoop - example - Ejemplo de Spark Pi en modo de clúster con hilo: pérdida de asociación

spark python example

Question

Tengo tres máquinas virtuales que se ejecutan como clúster Spark distribuido. Estoy usando Spark 1.3.0 con un Hadoop 2.6.0 subyacente.

Si ejecuto el ejemplo de Spark Pi

/usr/local/spark130/bin/spark-submit 
--class org.apache.spark.examples.SparkPi  
--master yarn-client /usr/local/spark130/examples/target/spark-examples_2.10-1.3.0.jar  10000

Recibo esta advertencia / error y finalmente una excepción:

 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/04/08 12:37:06 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@virtm4:47128] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
15/04/08 12:37:12 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@virtm4:45975] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
15/04/08 12:37:13 ERROR YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

Cuando reviso los registros del contenedor, veo que fue SIGTERM-ed

15/04/08 12:37:08 INFO yarn.YarnAllocator: Container request (host: Any, capability: <memory:1408, vCores:1>)
15/04/08 12:37:08 INFO yarn.YarnAllocator: Container request (host: Any, capability: <memory:1408, vCores:1>)
15/04/08 12:37:08 INFO yarn.ApplicationMaster: Started progress reporter thread - sleep time : 5000
15/04/08 12:37:12 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL 15: SIGTERM
15/04/08 12:37:12 INFO yarn.ApplicationMaster: Final app status: UNDEFINED, exitCode: 0, (reason: Shutdown hook called before final status was reported.)
15/04/08 12:37:12 INFO yarn.ApplicationMaster: Unregistering ApplicationMaster with UNDEFINED (diag message: Shutdown hook called before final status was reported.)

SOLUCIÓN: resolví el problema. Uso Java7 ahora en lugar de Java8. Esta situación se informó como error, pero se rechazó como tal https://issues.apache.org/jira/browse/SPARK-6388 Sin embargo, cambiar la versión de Java sí funcionó.

Answer 1

La asociación puede perderse debido al problema de asignación excesiva de memoria de Java 8: https://issues.apache.org/jira/browse/YARN-4714

Puede obligar a YARN a ignorar esto configurando las siguientes propiedades en yarn-site.xml

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

Answer 2

Me encontré con un problema similar antes, hasta que encuentro este problema

Intenta detener tu instancia de sc.stop() explícitamente sc.stop()