python - saveastable - Spark DataFrame groupBy y ordena en orden descendente(pyspark)

sqlcontext spark python

Question

Estoy usando pyspark (Python 2.7.9 / Spark 1.3.1) y tengo un DataOrame GroupObject que necesito filtrar y ordenar en orden descendente. Tratando de lograrlo a través de este pedazo de código.

group_by_dataframe.count().filter("`count` >= 10").sort(''count'', ascending=False)

Pero arroja el siguiente error.

sort() got an unexpected keyword argument ''ascending''

Answer 1

En el método de sort PySpark 1.3 no se toma el parámetro ascendente. Puedes usar el método desc lugar:

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

o función de desc :

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

Ambos métodos se pueden usar con Spark> = 1.3 (incluido Spark 2.x).

Answer 2

Use orderBy :

group_by_dataframe.count().filter("`count` >= 10").orderBy(''count'', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html