python - examples - Viendo el contenido de una columna de Spark Dataframe

python spark dataframe

Question

Estoy usando Spark 1.3.1.

Estoy tratando de ver los valores de una columna de marco de datos Spark en Python. Con un marco de datos de Spark, puedo hacer df.collect() para ver el contenido del marco de datos, pero no hay tal método para una columna de marcos de datos de Spark como mejor puedo ver.

Por ejemplo, el df marco de datos contiene una columna llamada ''zip_code'' . Entonces puedo hacer df[''zip_code''] y se convierte en un tipo pyspark.sql.dataframe.Column , pero no puedo encontrar una manera de ver los valores en df[''zip_code''] .

Answer 1

Para ver el contenido completo:

df.select("raw").take(1).foreach(println)

(El show te mostrará un resumen).

Answer 2

Puedes acceder al RDD subyacente y RDD

df.rdd.map(lambda r: r.zip_code).collect()

También puede usar select si no le importa que los resultados se ajusten utilizando objetos de Row :

df.select(''zip_code'').collect()

Finalmente, si simplemente desea inspeccionar el contenido, entonces el método de show debería ser suficiente:

df.select(''zip_code'').show()