Apache Flink - Flink vs Spark vs Hadoop
Aquí hay una tabla completa, que muestra la comparación entre los tres frameworks de big data más populares: Apache Flink, Apache Spark y Apache Hadoop.
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005 | 2009 | 2009 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | Universidad de California, Berkeley | Universidad Técnica de Berlín |
Data Processing Engine |
Lote | Lote | Corriente |
Processing Speed |
Más lento que Spark y Flink | 100 veces más rápido que Hadoop | Más rápido que la chispa |
Programming Languages |
Java, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, python y R | Java y Scala |
Programming Model |
Mapa reducido | Conjuntos de datos distribuidos resilientes (RDD) | Flujos de datos cíclicos |
Data Transfer |
Lote | Lote | Canalizado y por lotes |
Memory Management |
Basado en disco | JVM gestionado | Activo gestionado |
Latency |
Bajo | Medio | Bajo |
Throughput |
Medio | Alto | Alto |
Optimization |
Manual | Manual | Automático |
API |
Nivel bajo | Nivel alto | Nivel alto |
Streaming Support |
N / A | Spark Streaming | Flink Streaming |
SQL Support |
Colmena, Impala | SparkSQL | API de tabla y SQL |
Graph Support |
N / A | GraphX | Gelly |
Machine Learning Support |
N / A | SparkML | FlinkML |