map(func)

Devuelve un nuevo conjunto de datos distribuido, formado al pasar cada elemento de la fuente a través de una función. func.

filter(func)

Devuelve un nuevo conjunto de datos formado seleccionando aquellos elementos de la fuente en los que func devuelve verdadero.

flatMap(func)

Similar al mapa, pero cada elemento de entrada se puede asignar a 0 o más elementos de salida (por lo que func debería devolver una secuencia en lugar de un solo elemento).

mapPartitions(func)

Similar al mapa, pero se ejecuta por separado en cada partición (bloque) del RDD, por lo que func debe ser de tipo Iterator <T> ⇒ Iterator <U> cuando se ejecuta en un RDD de tipo T.

mapPartitionsWithIndex(func)

Similar a las particiones de mapa, pero también proporciona func con un valor entero que representa el índice de la partición, entonces func debe ser de tipo (Int, Iterator <T>) ⇒ Iterator <U> cuando se ejecuta en un RDD de tipo T.

sample(withReplacement, fraction, seed)

Muestra un fraction de los datos, con o sin reemplazo, utilizando una semilla generadora de números aleatorios dada.

union(otherDataset)

Devuelve un nuevo conjunto de datos que contiene la unión de los elementos del conjunto de datos de origen y el argumento.

intersection(otherDataset)

Devuelve un nuevo RDD que contiene la intersección de elementos en el conjunto de datos de origen y el argumento.

distinct([numTasks])

Devuelve un nuevo conjunto de datos que contiene los distintos elementos del conjunto de datos de origen.

groupByKey([numTasks])

Cuando se llama a un conjunto de datos de pares (K, V), devuelve un conjunto de datos de pares (K, Iterable <V>).

Note - Si está agrupando para realizar una agregación (como una suma o promedio) sobre cada clave, el uso de reduceByKey o aggregateByKey producirá un rendimiento mucho mejor.

reduceByKey(func, [numTasks])

Cuando se llama en un conjunto de datos de pares (K, V), devuelve un conjunto de datos de pares (K, V), donde los valores para cada tecla se agregan utilizando la función dada reducir func , que debe ser de tipo (V, V) ⇒ V Como en groupByKey, la cantidad de tareas de reducción se puede configurar mediante un segundo argumento opcional.

aggregateByKey(zeroValue)(seqOp, combOp, [numTasks])

Cuando se llama a un conjunto de datos de pares (K, V), devuelve un conjunto de datos de pares (K, U) donde los valores de cada clave se agregan utilizando las funciones combinadas dadas y un valor "cero" neutral. Permite un tipo de valor agregado que es diferente del tipo de valor de entrada, al tiempo que evita asignaciones innecesarias. Como en groupByKey, el número de tareas de reducción se puede configurar a través de un segundo argumento opcional.

sortByKey([ascending], [numTasks])

Cuando se llama a un conjunto de datos de pares (K, V) donde K implementa Ordered, devuelve un conjunto de datos de pares (K, V) ordenados por claves en orden ascendente o descendente, como se especifica en el argumento ascendente booleano.

join(otherDataset, [numTasks])

Cuando se invoca en conjuntos de datos de tipo (K, V) y (K, W), devuelve un conjunto de datos de (K, (V, W)) pares con todos los pares de elementos para cada clave. Las combinaciones externas se admiten a través de leftOuterJoin, rightOuterJoin y fullOuterJoin.

cogroup(otherDataset, [numTasks])

Cuando se invoca en conjuntos de datos de tipo (K, V) y (K, W), devuelve un conjunto de datos de (K, (Iterable <V>, Iterable <W>)) tuplas. Esta operación también se denomina grupo con.

cartesian(otherDataset)

Cuando se invoca en conjuntos de datos de tipos T y U, devuelve un conjunto de datos de pares (T, U) (todos los pares de elementos).

pipe(command, [envVars])

Canalice cada partición del RDD a través de un comando de shell, por ejemplo, un script en Perl o bash. Los elementos RDD se escriben en el stdin del proceso y las líneas de salida a su stdout se devuelven como un RDD de cadenas.

coalesce(numPartitions)

Disminuya el número de particiones en el RDD a numPartitions. Útil para ejecutar operaciones de manera más eficiente después de filtrar un gran conjunto de datos.

repartition(numPartitions)

Reorganice los datos en el RDD de forma aleatoria para crear más o menos particiones y equilibrarlas entre ellas. Esto siempre baraja todos los datos de la red.

repartitionAndSortWithinPartitions(partitioner)

Reparta el RDD de acuerdo con el particionador dado y, dentro de cada partición resultante, ordena los registros por sus claves. Esto es más eficiente que llamar a repartición y luego ordenar dentro de cada partición porque puede empujar la ordenación hacia abajo en la maquinaria de reproducción aleatoria.

reduce(func)

Agregue los elementos del conjunto de datos usando una función func(que toma dos argumentos y devuelve uno). La función debe ser conmutativa y asociativa para que se pueda calcular correctamente en paralelo.

collect()

Devuelve todos los elementos del conjunto de datos como una matriz en el programa controlador. Esto suele ser útil después de un filtro u otra operación que devuelve un subconjunto suficientemente pequeño de datos.

count()

Devuelve el número de elementos del conjunto de datos.

first()

Devuelve el primer elemento del conjunto de datos (similar a take (1)).

take(n)

Devuelve una matriz con la primera n elementos del conjunto de datos.

takeSample (withReplacement,num, [seed])

Devuelve una matriz con una muestra aleatoria de num elementos del conjunto de datos, con o sin reemplazo, opcionalmente pre-especificando una semilla generadora de números aleatorios.

takeOrdered(n, [ordering])

Devuelve el primero n elementos del RDD utilizando su orden natural o un comparador personalizado.

saveAsTextFile(path)

Escribe los elementos del conjunto de datos como un archivo de texto (o un conjunto de archivos de texto) en un directorio dado en el sistema de archivos local, HDFS o cualquier otro sistema de archivos compatible con Hadoop. Spark llama a toString en cada elemento para convertirlo en una línea de texto en el archivo.

saveAsSequenceFile(path) (Java and Scala)

Escribe los elementos del conjunto de datos como un archivo de secuencia de Hadoop en una ruta determinada en el sistema de archivos local, HDFS o cualquier otro sistema de archivos compatible con Hadoop. Está disponible en RDD de pares clave-valor que implementan la interfaz de escritura de Hadoop. En Scala, también está disponible en tipos que son implícitamente convertibles a Writable (Spark incluye conversiones para tipos básicos como Int, Double, String, etc.).

saveAsObjectFile(path) (Java and Scala)

Escribe los elementos del conjunto de datos en un formato simple usando la serialización de Java, que luego se puede cargar usando SparkContext.objectFile ().

countByKey()

Solo disponible en RDD de tipo (K, V). Devuelve un mapa hash de pares (K, Int) con el recuento de cada clave.

foreach(func)

Ejecuta una función funcen cada elemento del conjunto de datos. Por lo general, esto se hace por efectos secundarios como actualizar un acumulador o interactuar con sistemas de almacenamiento externos.

Note- La modificación de variables distintas de los acumuladores fuera de foreach () puede dar como resultado un comportamiento indefinido. Consulte Comprensión de los cierres para obtener más detalles.

Entradas de ruta de clase adicionales para pasar al conductor.

Tenga en cuenta que los archivos jar agregados con --jars se incluyen automáticamente en la ruta de clases.

count()

Número de elementos del RDD.

Mean()

Promedio de los elementos del RDD.

Sum()

Valor total de los elementos del RDD.

Max()

Valor máximo entre todos los elementos del RDD.

Min()

Valor mínimo entre todos los elementos del RDD.

Variance()

Varianza de los elementos.

Stdev()

Desviación Estándar.