read - PySpark 2.0 El tamaño o la forma de un DataFrame

rdd to dataframe pyspark

Question

Estoy tratando de averiguar el tamaño / forma de un DataFrame en PySpark. No veo una sola función que pueda hacer esto.

En Python puedo hacer

data.shape()

¿Hay alguna función similar en PySpark? Esta es mi solución actual, pero estoy buscando un elemento uno

row_number = data.count()
column_number = len(data.dtypes)

El cálculo del número de columnas no es ideal ...

Answer 1

Creo que no hay una función similar como data.shape en Spark. Pero len(data.columns) lugar de len(data.dtypes)

Answer 2

df.count () para el número de filas

Answer 3

print((df.count(), len(df.columns)))