Apache Flink - Flink vs Spark vs Hadoop

Aquí hay una tabla completa, que muestra la comparación entre los tres frameworks de big data más populares: Apache Flink, Apache Spark y Apache Hadoop.

Apache Hadoop Apache Spark Apache Flink

Year of Origin

2005 2009 2009

Place of Origin

MapReduce (Google) Hadoop (Yahoo) Universidad de California, Berkeley Universidad Técnica de Berlín

Data Processing Engine

Lote Lote Corriente

Processing Speed

Más lento que Spark y Flink 100 veces más rápido que Hadoop Más rápido que la chispa

Programming Languages

Java, C, C ++, Ruby, Groovy, Perl, Python Java, Scala, python y R Java y Scala

Programming Model

Mapa reducido Conjuntos de datos distribuidos resilientes (RDD) Flujos de datos cíclicos

Data Transfer

Lote Lote Canalizado y por lotes

Memory Management

Basado en disco JVM gestionado Activo gestionado

Latency

Bajo Medio Bajo

Throughput

Medio Alto Alto

Optimization

Manual Manual Automático

API

Nivel bajo Nivel alto Nivel alto

Streaming Support

N / A Spark Streaming Flink Streaming

SQL Support

Colmena, Impala SparkSQL API de tabla y SQL

Graph Support

N / A GraphX Gelly

Machine Learning Support

N / A SparkML FlinkML