property formulario changed binding apache-spark runtime-error

binding - formulario - xamarin manual



No se pudo vincular a: spark-master, utilizando un clúster remoto con dos trabajadores (4)

Configurar la variable de entorno SPARK_LOCAL_IP = 127.0.0.1 me solucionó esto.

Estoy logrando que todo funcione con el maestro local y dos trabajadores remotos. Ahora, quiero conectarme a un maestro remoto que tenga los mismos trabajadores remotos. He probado diferentes combinaciones de configuraciones con / etc / hosts y otras recomendaciones en Internet, pero NADA funcionó.

La clase principal es:

public static void main(String[] args) { ScalaInterface sInterface = new ScalaInterface(CHUNK_SIZE, "awsAccessKeyId", "awsSecretAccessKey"); SparkConf conf = new SparkConf().setAppName("POC_JAVA_AND_SPARK") .setMaster("spark://spark-master:7077"); org.apache.spark.SparkContext sc = new org.apache.spark.SparkContext( conf); sInterface.enableS3Connection(sc); org.apache.spark.rdd.RDD<Tuple2<Path, Text>> fileAndLine = (RDD<Tuple2<Path, Text>>) sInterface.getMappedRDD(sc, "s3n://somebucket/"); org.apache.spark.rdd.RDD<String> pInfo = (RDD<String>) sInterface.mapPartitionsWithIndex(fileAndLine); JavaRDD<String> pInfoJ = pInfo.toJavaRDD(); List<String> result = pInfoJ.collect(); String miscInfo = sInterface.getMiscInfo(sc, pInfo); System.out.println(miscInfo); }

Falla en:

List<String> result = pInfoJ.collect();

El error que estoy recibiendo es:

1354 [sparkDriver-akka.actor.default-dispatcher-3] ERROR akka.remote.transport.netty.NettyTransport - failed to bind to spark-master/192.168.0.191:0, shutting down Netty transport 1354 [main] WARN org.apache.spark.util.Utils - Service ''sparkDriver'' could not bind on port 0. Attempting port 1. 1355 [main] DEBUG org.apache.spark.util.AkkaUtils - In createActorSystem, requireCookie is: off 1363 [sparkDriver-akka.actor.default-dispatcher-3] INFO akka.remote.RemoteActorRefProvider$RemotingTerminator - Shutting down remote daemon. 1364 [sparkDriver-akka.actor.default-dispatcher-3] INFO akka.remote.RemoteActorRefProvider$RemotingTerminator - Remote daemon shut down; proceeding with flushing remote transports. 1364 [sparkDriver-akka.actor.default-dispatcher-5] INFO akka.remote.RemoteActorRefProvider$RemotingTerminator - Remoting shut down. 1367 [sparkDriver-akka.actor.default-dispatcher-4] INFO akka.event.slf4j.Slf4jLogger - Slf4jLogger started 1370 [sparkDriver-akka.actor.default-dispatcher-6] INFO Remoting - Starting remoting 1380 [sparkDriver-akka.actor.default-dispatcher-4] ERROR akka.remote.transport.netty.NettyTransport - failed to bind to spark-master/192.168.0.191:0, shutting down Netty transport Exception in thread "main" 1382 [sparkDriver-akka.actor.default-dispatcher-6] INFO akka.remote.RemoteActorRefProvider$RemotingTerminator - Shutting down remote daemon. 1382 [sparkDriver-akka.actor.default-dispatcher-6] INFO akka.remote.RemoteActorRefProvider$RemotingTerminator - Remote daemon shut down; proceeding with flushing remote transports. java.net.BindException: Failed to bind to: spark-master/192.168.0.191:0: Service ''sparkDriver'' failed after 16 retries! at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272) at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:393) at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:389) at scala.util.Success$$anonfun$map$1.apply(Try.scala:206) at scala.util.Try$.apply(Try.scala:161) at scala.util.Success.map(Try.scala:206) at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235) at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235) at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32) at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.processBatch$1(BatchingExecutor.scala:67) at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply$mcV$sp(BatchingExecutor.scala:82) at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply(BatchingExecutor.scala:59) at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply(BatchingExecutor.scala:59) at scala.concurrent.BlockContext$.withBlockContext(BlockContext.scala:72) at akka.dispatch.BatchingExecutor$Batch.run(BatchingExecutor.scala:58) at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:41) at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:393) at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339) at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) 1383 [sparkDriver-akka.actor.default-dispatcher-7] INFO akka.remote.RemoteActorRefProvider$RemotingTerminator - Remoting shut down. 1385 [delete Spark temp dirs] DEBUG org.apache.spark.util.Utils - Shutdown hook called

¡Gracias amablemente por su ayuda!

Tenía una chispa trabajando en mi instancia de EC2. Inicié un nuevo servidor web y para cumplir su requisito tuve que cambiar el nombre de host al nombre DNS público ec2, es decir,

hostname ec2-54-xxx-xxx-xxx.compute-1.amazonaws.com

Después de eso, mi chispa no pudo funcionar y mostró un error como el siguiente:

16/09/20 21:02:22 WARN Utils: El servicio ''sparkDriver'' no se pudo unir en el puerto 0. Intentando el puerto 1. 16/09/20 21:02:22 ERROR SparkContext: Error al inicializar SparkContext.

Lo resuelvo configurando SPARK_LOCAL_IP de la siguiente manera:

export SPARK_LOCAL_IP="localhost"

luego acaba de lanzar la cáscara brillante de la siguiente manera:

$SPARK_HOME/bin/spark-shell

Tuve este problema cuando mi /etc/hosts estaba asignando una dirección IP incorrecta a mi nombre de host local.

La BindException en sus registros se queja de la dirección IP 192.168.0.191 . Supongo que se resuelve con el nombre de host de su máquina y no es la dirección IP real que está utilizando su interfaz de red. Debería funcionar bien una vez que arregles eso.