apache spark - logo - Spark UI en AWS EMR
apache hbase download (3)
Spark en EMR está configurado para YARN, por lo que Spark UI está disponible por la URL de la aplicación proporcionada por el Administrador de Recursos YARN ( http://spark.apache.org/docs/latest/monitoring.html ). Entonces, la manera más fácil de hacerlo es configurar su navegador con SOCKS usando un puerto abierto por SSH y luego desde la consola EMR abrir Resource Manager y hacer clic en la URL de Application Master proporcionada a la derecha de la aplicación en ejecución. El servidor de Spark History está disponible en el puerto predeterminado 18080.
Ejemplo de calcetines con EMR en http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-web-interfaces.html
Estoy ejecutando un clúster AWS EMR con Spark (1.3.1) instalado a través del menú desplegable de la consola EMR. Spark es actual y procesa datos, pero estoy tratando de encontrar qué puerto se ha asignado a la WebUI. He intentado el reenvío de puertos 4040 y 8080 sin conexión. Estoy reenviando como tal
ssh -i ~/KEY.pem -L 8080:localhost:8080 hadoop@EMR_DNS
1) ¿Cómo averiguo cuál es el puerto asignado de Spark WebUI? 2) ¿Cómo verifico que se está ejecutando Spark WebUI?
Aquí hay una alternativa si no desea tratar con la configuración del navegador con SOCKS como se sugiere en los documentos EMR.
Abra un túnel ssh en el nodo maestro con reenvío de puertos a la máquina que ejecuta spark ui
ssh -i path/to/aws.pem -L 4040:SPARK_UI_NODE_URL:4040 hadoop@MASTER_URLMASTER_URL (EMR_DNS en la pregunta) es la URL del nodo maestro que puede obtener desde la página de EMR Management Console para el clúster
SPARK_UI_NODE_URL se puede ver cerca de la parte superior del registro de stderr. La línea de registro se verá algo así como:
16/04/28 21:24:46 INFO SparkUI: Started SparkUI at http://10.2.5.197:4040Dirige tu navegador a localhost: 4040
Intenté esto en EMR 4.6 ejecutando Spark 2.6.1
Simplemente use el túnel SSH en su máquina local:
ssh -i / ruta / a / pem -L 3000: ec2-xxxxcompute-1.amazonaws.com: 8088 [email protected]
En el navegador de tu máquina local, haz clic en:
localhost: 3000