apache spark - Use collect_list y collect_set en Spark SQL

apache-spark hive

Question

Según los docs , las funciones collect_set y collect_list deberían estar disponibles en Spark SQL. Sin embargo, no puedo hacer que funcione. Estoy ejecutando Spark 1.6.0 usando una imagen Docker .

Estoy tratando de hacer esto en Scala:

import org.apache.spark.sql.functions._
df.groupBy("column1")
.agg(collect_set("column2"))
.show()

Y reciba el siguiente error en tiempo de ejecución:

Exception in thread "main" org.apache.spark.sql.AnalysisException: undefined function collect_set;

También lo probé usando pyspark , pero también falla. Los documentos indican que estas funciones son alias de Hive UDAF, pero no puedo entender para habilitar estas funciones.

¿Cómo arreglar esto? Gracias!

Answer 1

Spark 2.0+ :

SPARK-10605 introdujo la SPARK-10605 nativa collect_list y collect_set . SparkSession con soporte Hive o HiveContext ya no son necesarios.

Spark 2.0-SNAPSHOT (antes de 2016-05-03) :

SparkSession habilitar el soporte de Hive para una SparkSession determinada:

En Scala:

val spark = SparkSession.builder
.master("local")
.appName("testing")
.enableHiveSupport() // <- enable Hive support.
.getOrCreate()

En Python:

spark = (SparkSession.builder
.enableHiveSupport()
.getOrCreate())

Chispa <2.0 :

Para poder usar los UDF de Hive (consulte https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF ) debe usar Spark integrado con el soporte de Hive (esto ya está cubierto cuando usa binarios precompilados) parece ser el caso aquí) e inicialice SparkContext usando HiveContext .

En Scala:

import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.SQLContext
val sqlContext: SQLContext = new HiveContext(sc) 

En Python:

from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)