apache-spark - software - org apache spark examples

Cómo verificar la versión de Spark

Question

como titulado, ¿cómo sé qué versión de chispa se ha instalado en CentOS?

El sistema actual ha instalado cdh5.1.0.

Answer 1

En el programa / shell Spark 2.x,

utilizar el

spark.version

Donde la variable de spark es del objeto SparkSession

Usar los registros de la consola al inicio de la spark-shell

[root@bdhost001 ~]$ spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
____ __
/ __/__ ___ _____/ /__
_/ // _ // _ `/ __/ ''_/
/___/ .__//_,_/_/ /_//_/ version 2.2.0
/_/

Sin entrar en el código / shell

spark-shell --version

[root@bdhost001 ~]$ spark-shell --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_/ // _ // _ `/ __/ ''_/
/___/ .__//_,_/_/ /_//_/ version 2.2.0
/_/
Type --help for more information.

spark-submit --version

[root@bdhost001 ~]$ spark-submit --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_/ // _ // _ `/ __/ ''_/
/___/ .__//_,_/_/ /_//_/ version 2.2.0
/_/
Type --help for more information.

Answer 2

Cualquiera que sea el comando de shell que use ya sea spark-shell o pyspark, aterrizará en un logotipo de Spark con un nombre de versión al lado.

$ pyspark
$ Python 2.6.6 (r266: 84292, 22 de mayo de 2015, 08:34:51) [GCC 4.4.7 20120313 (Red Hat 4.4.7-15)] en linux2 ............ ........... Bienvenido a
versión 1.3.0

Answer 3

Open Spark shell Terminal, ejecuta sc.version

Answer 4

Puede usar el comando spark-submit --version : spark-submit --version

Answer 5

Si está en el portátil Zeppelin , puede ejecutar:

sc.version

para conocer la versión scala también puedes ejecutar:

util.Properties.versionString

Answer 6

Si está utilizando Databricks y conversando con una computadora portátil, simplemente ejecute:

spark.version

Answer 7

Si está utilizando pyspark, la versión de chispa que se utiliza se puede ver junto al logotipo de Spark en negrita, como se muestra a continuación:

manoj@hadoop-host:~$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
____ __
/ __/__ ___ _____/ /__
_/ // _ // _ `/ __/ ''_/
/__ / .__//_,_/_/ /_//_/ version 1.6.0
/_/
Using Python version 2.7.6 (default, Jun 22 2015 17:58:13)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

Si desea obtener la versión de chispa explícitamente, puede usar el método de versión de SparkContext como se muestra a continuación:

>>>
>>> sc.version
u''1.6.0''
>>>

Answer 8

Si usa Spark-Shell, aparece en el banner al comienzo.

Programaticamente, se puede usar SparkContext.version .

Answer 9

utilizar a continuación para obtener la versión chispa

spark-submit --version