listas - recorrer lista en scala

Cómo suprimir la impresión de valores variables en zepelín

Question

Dado el siguiente fragmento:

val data = sc.parallelize(0 until 10000)
val local = data.collect
println(s"local.size")

Zeppelin imprime todo el valor de local en la pantalla del portátil. ¿Cómo puede cambiarse ese comportamiento?

Answer 1

Zeppelin, así como REPL spark-shell, siempre imprime toda la salida del intérprete.

Si realmente quiere tener solo la cadena local.size impresa, la mejor manera de hacerlo es poner la println "local.size" dentro del párrafo separado.

Luego puede ocultar todo el resultado del párrafo anterior usando el pequeño ícono de "libro" en la esquina superior derecha.

Answer 2

Lo que hago para evitar esto es definir una función de nivel superior y luego llamarla:

def run() : Unit = {
val data = sc.parallelize(0 until 10000)
val local = data.collect
println(local.size)
}
run();

Answer 3

También puede intentar agregar llaves entre su código.

{val data = sc.parallelize(0 until 10000)
val local = data.collect
println(s"local.size")}

Answer 4

Desde 0.6.0, Zeppelin proporciona una bandera booleana zeppelin.spark.printREPLOutput en la configuración del intérprete de chispa (accesible a través de la GUI), que se establece en true por defecto. Si establece su valor en false , obtendrá el comportamiento deseado de que solo se emitan instrucciones de impresión explícitas.

Ver también: https://issues.apache.org/jira/browse/ZEPPELIN-688