python - Airbnb Airflow vs Apache Nifi
apache-nifi (1)
Para obtener una descripción general de Airflow y Apache NiFi, consulte esta publicación de reddit: https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
Para su uso específico en el caso de ingerir archivos Json, enriquecerlos y enviarlos a Kafka, creo que NiFi es la herramienta adecuada para el trabajo. A continuación, le mostramos algunos de los procesadores que podría utilizar, así como la documentación de cada uno:
JoltTransformJSON: https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka (o PublishKafka_0_10 según su versión): https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html
¿Airflow y Nifi realizan el mismo trabajo en los flujos de trabajo? ¿Cuáles son los pros / contras de cada uno? Necesito leer algunos archivos json, agregarle más metadatos personalizados y ponerlos en una cola Kafka para ser procesados. Pude hacerlo en Nifi. Todavía estoy trabajando en Airflow. Estoy tratando de elegir el mejor motor de flujo de trabajo para mi proyecto ¡Gracias!