apache spark - tutorial - Encontrar eficientemente todos los sub rangos relevantes para las tablas bigdata en Hive/Spark

scala y spark

Question

Después de esta pregunta, me gustaría preguntar. Tengo 2 tablas: la primera tabla - MajorRange

row | From | To | Group ....
-----|--------|---------|---------
1 | 1200 | 1500 | A
2 | 2200 | 2700 | B
3 | 1700 | 1900 | C
4 | 2100 | 2150 | D
...

La segunda tabla - SubRange

row | From | To | Group ....
-----|--------|---------|---------
1 | 1208 | 1300 | E
2 | 1400 | 1600 | F
3 | 1700 | 2100 | G
4 | 2100 | 2500 | H
...

La tabla de salida debe ser todos los grupos SubRange que se superponen sobre los grupos MajorRange . En el siguiente ejemplo, la tabla de resultados es:

 row | Major | Sub |
-----|--------|------|-
1 | A | E |
2 | A | F |
3 | B | H |
4 | C | G |
5 | D | H |

En caso de que no haya superposición entre los rangos, el Major no aparecerá. Ambas tablas son tablas de datos grandes. ¿Cómo puedo hacerlo usando Hive / Spark de la manera más eficiente?

Answer 1

Con spark , ¿quizás una unión no equi como esta?

val join_expr = major_range("From") < sub_range("To") && major_range("To") > sub_range("From")
(major_range.join(sub_range, join_expr)
.select(
monotonically_increasing_id().as("row"),
major_range("Group").as("Major"),
sub_range("Group").as("Sub")
)
).show
+---+-----+---+
|row|Major|Sub|
+---+-----+---+
| 0| A| E|
| 1| A| F|
| 2| B| H|
| 3| C| G|
| 4| D| H|
+---+-----+---+