python - saveastable - structtype pyspark

¿Cómo convertir un DataFrame a un RDD normal en pyspark?

Question

Necesito usar el

(rdd.)partitionBy(npartitions, custom_partitioner)

método que no está disponible en el DataFrame. Todos los métodos de DataFrame se refieren solo a los resultados del DataFrame. Entonces, ¿cómo crear un RDD a partir de los datos del DataFrame?

Nota: esto es un cambio (en 1.3.0) de 1.2.0.

Actualiza la respuesta de @dpangmao: el método es .rdd. Me interesaba comprender si (a) era público y (b) cuáles eran las implicaciones de rendimiento.

Bien (a) es sí y (b) - bueno, aquí se puede ver que hay implicaciones significativas en el rendimiento : se debe crear un nuevo RDD invocando mapPartitions :

En dataframe.py (tenga en cuenta que el nombre del archivo también cambió (era sql.py):

@property
def rdd(self):
    """
    Return the content of the :class:`DataFrame` as an :class:`RDD`
    of :class:`Row` s.
    """
    if not hasattr(self, ''_lazy_rdd''):
        jrdd = self._jdf.javaToPython()
        rdd = RDD(jrdd, self.sql_ctx._sc, BatchedSerializer(PickleSerializer()))
        schema = self.schema

        def applySchema(it):
            cls = _create_cls(schema)
            return itertools.imap(cls, it)

        self._lazy_rdd = rdd.mapPartitions(applySchema)

    return self._lazy_rdd

Answer 1

La respuesta dada por kennyut / Kistian funciona muy bien, pero para obtener un RDD exacto como salida cuando RDD consiste en una lista de atributos, por ejemplo [1,2,3,4] podemos usar el comando flatmap como se muestra a continuación,

rdd = df.rdd.flatMap(list)
or 
rdd = df.rdd.flatmap(lambda x: list(x))

Answer 2

La respuesta de @dapangmao funciona, pero no da la chispa regular RDD, devuelve un objeto Row. Si quieres tener el formato RDD regular.

Prueba esto:

rdd = df.rdd.map(tuple)

o

rdd = df.rdd.map(list)

Answer 3

Utiliza el método .rdd esta manera:

rdd = df.rdd