scala - introducción - ¿Cuál es la diferencia entre unirse y cogroup en Apache Spark?

apache spark tutorial pdf

Question

¿Cuál es la diferencia entre unirse y cogrupar en Apache Spark? ¿Cuál es el caso de uso para cada método?

Answer 1

Déjame ayudarte a aclararlas, ¡ambas son de uso común e importantes!

def join[W](other: RDD[(K, W)]): RDD[(K, (V, W))]

Este es el prototype de unirse, por favor miralo cuidadosamente . Por ejemplo,

val rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2)
val rdd2 = sc.makeRDD(Array(("A","a"),("C","c"),("D","d")),2)

scala> rdd1.join(rdd2).collect
res0: Array[(String, (String, String))] = Array((A,(1,a)), (C,(3,c)))

Todas las claves que aparecerán en el resultado final son comunes a rdd1 y rdd2. Esto es similar a la relation database operation INNER JOIN .

Pero el cogrupo es diferente .

def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]

como una tecla al menos aparece en cualquiera de los dos discos, aparecerá en el resultado final, permítame aclararlo:

val rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2)
val rdd2 = sc.makeRDD(Array(("A","a"),("C","c"),("D","d")),2)

scala> var rdd3 = rdd1.cogroup(rdd2).collect
res0: Array[(String, (Iterable[String], Iterable[String]))] = Array(
(B,(CompactBuffer(2),CompactBuffer())), 
(D,(CompactBuffer(),CompactBuffer(d))), 
(A,(CompactBuffer(1),CompactBuffer(a))), 
(C,(CompactBuffer(3),CompactBuffer(c)))
)

Esto es muy similar a la relation database operation FULL OUTER JOIN , pero en lugar de aplanar el resultado por línea por registro, le proporcionará la interable interface , la siguiente operación depende de usted .

¡Buena suerte!

Spark docs es: http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions