apache spark - examples - ¿Por qué spark-submit y spark-shell fallan con "No se pudo encontrar el ensamblado de Spark JAR". Necesita construir Spark antes de ejecutar este programa. "?

apache spark wikipedia

Question

Estaba intentando ejecutar spark-submit y obtengo el mensaje "Falló al encontrar el ensamblado Spark JAR. Necesitas compilar Spark antes de ejecutar este programa". Cuando intento ejecutar spark-shell obtengo el mismo error. Lo que tengo que hacer en esta situación.

Answer 1

Instalación de chispa:

Para la máquina de ventana:

Download spark-2.1.1-bin-hadoop2.7.tgz from this site https://spark.apache.org/downloads.html Unzip and Paste your spark folder in C:/ drive and set environment variable. If you don’t have Hadoop, you need to create Hadoop folder and also create Bin folder in it and then copy and paste winutils.exe file in it. download winutils file from [https://codeload.github.com/gvreddy1210/64bit/zip/master][1] and paste winutils.exe file in Hadoop/bin folder and set environment variable for c:/hadoop/bin; create temp/hive folder in C:/ drive and give the full permission to this folder like: C:/Windows/system32>C:/hadoop/bin/winutils.exe chmod 777 /tmp/hive open command prompt first run C:/hadoop/bin> winutils.exe and then navigate to C:/spark/bin> run spark-shell

Answer 2

En Windows, encontré que si está instalado en un directorio que tiene un espacio en la ruta (C: / Program Files / Spark) la instalación fallará. Moverlo a la raíz u otro directorio sin espacios.

Answer 3

Intenta ejecutar mvn -DskipTests clean package primero para compilar Spark.

Answer 4

Si ha descargado binarios y ha obtenido esta excepción

Luego, compruebe que su ruta Spark_home puede contener espacios como "apache spark" / bin

Solo eliminar espacios funcionará.

Answer 5

Si sus binarios de chispa están en una carpeta donde el nombre de la carpeta tiene espacios (por ejemplo, "Archivos de programa (x86)"), no funcionó. Lo cambié a "Program_Files", luego el comando spark_shell funciona en cmd.

Answer 6

Solo para agregar a @ jurban1997 respuesta.

Si está ejecutando Windows, asegúrese de que las variables de entorno SPARK_HOME y SCALA_HOME estén configuradas correctamente. SPARK_HOME debería estar apuntando a {SPARK_HOME} / bin / spark-shell.cmd

Answer 7

Su paquete Spark no incluye código de Spark compilado. Es por eso que recibiste el mensaje de error de estos scripts spark-submit y spark-shell .

Debe descargar una versión preconstruida en la sección "Elegir un tipo de paquete" de la página de descarga de Spark .