apache-spark - examples - apache spark wikipedia

Cambiar la memoria del ejecutor(y otras configuraciones) para Spark Shell

Question

¿Cómo cambiar la memoria del ejecutor (y otras configuraciones) para Apache Spark Shell?

En particular, me gustaría dar planos a spark-shell, como -Dspark-cores-max = 12 cuando lo inicio para que mis trabajos en la carcasa de chispa utilicen esos ajustes de configuración.

Answer 1

RESPUESTA ACEPTABLE DEL USO DEPRIMIDO

Escribe un script como este:

#!/bin/bash
export SPARK_JAVA_OPTS="$*"
MASTER=spark://ec2-99-99-99-99:7077 /usr/share/spark/bin/spark-shell

/usr/share/spark/bin/spark-shell debe ser la ruta hacia donde se encuentra el largo script de inicio de chispa. En mi clúster había otra secuencia de comandos en / usr / local / bin / pero esta era solo unas líneas similar a la anterior y tenía SPARK_JAVA_OPTS codificado.

De todos modos, uso de ejemplo:

my-spark-starter-script -Dspark-cores-max=12 -Dspark.executor.memory=26000m

Answer 2

Si está ejecutando la chispa en chispa instalada en modo independiente (1 nodo), use

./bin/spark-shell --driver-memory 4g

Si está ejecutando el chispero en la chispa instalada en el clúster (2+ nodos), use

./bin/spark-shell --executor-memory 4g

4g es 4GB.

Answer 3

A partir de la chispa 1.2.0, puede establecer la memory y los cores dando los siguientes argumentos a spark-shell.

spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8

para ver otras opciones, puede dar los siguientes comandos para encender el caparazón

spark-shell --help