online - ¿Cuál de los muchos núcleos de Spark/Scala para Jupyter/IPython elegir?

jupyter python 3

Question

Hay muchos kernels de Scala / Spark para IPython / Jupyter:

1. IScala
2. ISpark
3. Jupyter Scala
4. Apache Toree ( kernel anterior Spark )

¿Alguien sabe cuál de ellos es más compatible con IPython / Jupyter y más cómodo de usar con:

1. Scala
2. Chispa (Scala)

Answer 1

He estado usando spark-kernel (su opción n. ° 4) y estoy bastante satisfecho.

Aquí puede encontrar una buena instalación práctica (CDH 5.5 en CentOS 7) (la he usado yo mismo para instalarla en un nodo único en modo pseudo-distribuido).

http://www.davidgreco.me/blog/2015/12/24/how-to-use-jupyter-with-spark-kernel-and-cloudera-hadoop-slash-spark/

Answer 2

No puedo hablar por todos ellos, pero uso Spark Kernel y funciona muy bien para usar tanto Scala como Spark.

Encontré IScala y Jupyter Scala menos estables y menos pulidos. Jupyter Scala siempre imprime cada valor variable después de que ejecuto una celda; No quiero ver esto el 99% del tiempo.

Spark Kernel es mi favorito. Tanto para Spark como para el viejo Scala.

Answer 3

Spark Kernel ha sido aceptado en Apache Incubator y ha trasladado todo el desarrollo a Apache Toree .