apache-spark - spark - cloudera cdh download

¿Puedo tener múltiples versiones de chispa instaladas en CDH?

Question

Estoy usando cdh5.1.0, que ya tiene la chispa predeterminada instalada. Sin embargo, quiero usar Spark 1.3. ¿Puedo instalar también esta versión en cdh5.1.0? ¿Cómo es posible configurar esto? ¿La nueva versión de la chispa también se controlará a través del administrador Cloudera?

Answer 1

Sí, puede ejecutar cualquier versión de Apache Spark que desee. Solo asegúrese de que esté diseñado para la versión de YARN que tiene (2.3 para CDH 5.1.0). Luego puede ejecutar su aplicación como una aplicación YARN con spark-submit . (Consulte http://spark.apache.org/docs/latest/running-on-yarn.html .) Se supervisará como cualquier otra aplicación YARN.

Spark no necesita ser "instalado" en absoluto, solo ejecuta su aplicación.

Answer 2

Ejecute los comandos a continuación desde su consola, con sudo access y password .... actualizará su versión actual de chispa a la última versión

sudo yum install spark-core spark-master spark-worker spark-history-server spark-python
sudo yum install spark-core spark-history-server spark-python