apache nifi - kafka - Diferencia entre Nifi y Mini NiFi(MiNiFi)
apache nifi vs kafka (2)
Apache NiFi es un marco robusto y seguro para enrutar, transformar y entregar datos a través de una multitud de sistemas. NiFi puede ejecutarse en paralelo con otras aplicaciones, pero funciona mejor cuando todo el sistema (o varios sistemas en un clúster) están dedicados a él. A menudo utiliza el almacenamiento SAN o RAID en el nivel de TB para las cantidades masivas de contenido que ingiere y la procedencia que genera. La interfaz de usuario permite que varios usuarios modifiquen rápidamente los flujos simultáneamente en la misma máquina o en un clúster. La última versión candidata de NiFi ( 1.1.0 RC1 ) incluye más de 170 procesadores para la integración personalizada con varios sistemas y operaciones, y tiene 762 MB cuando se comprime para descargar. En otras palabras, NiFi es una aplicación de clase de servidor.
Apache MiNiFi se desarrolló a partir de una necesidad reconocida de llevar las capacidades de NiFi al "borde" como "agentes": accediendo a datos desde IoT y dispositivos de nivel de escritorio, y aplicando las características principales de NiFi en la etapa más temprana posible. Ahora, los datos se pueden recopilar desde una variedad de protocolos, se puede generar la procedencia de los datos de manera inmediata para lograr un gobierno y una transparencia más holísticos, se han aplicado transformaciones ligeras en la fuente, se deben cifrar, priorizarse y enrutarse de manera redundante a las transformaciones más poderosas realizadas en la nube o centro de datos.
Ahora, todos estos comportamientos se pueden realizar con scripts personalizados, pero luego se encuentra el problema de comando y control (C2). Con cientos, miles o incluso millones de estos dispositivos existentes, ¿cómo se puede monitorear y ejecutar cada uno de ellos, y qué sucede cuando el flujo debe cambiar? Podría ser informar a un nuevo punto final, actualizar la frecuencia con la que se recopila o transmitir, o manejar nuevas métricas o metadatos desde el dispositivo. Este proceso manual no se escala. Con la integración de MiNiFi con NiFi, se puede desarrollar un flujo utilizando la interfaz de usuario en NiFi, traducirlo de forma transparente a un flujo de MiNiFi y enviarlo a clases de agentes en todo el mundo.
Con la modificación manual para eliminar procesadores y características innecesarios, se puede recortar NiFi para que se ajuste a una Raspberry Pi. Pero aún requiere la JVM, y hay muchos dispositivos que no la soportan. MiNiFi se ofrece en Java y C ++, y la huella está en una escala completamente diferente: 39 MB para el agente de Java (tar) y 310K para el agente de C ++ (tar).
Un gran ejemplo del poder y la utilidad de MiNiFi es una reciente demostración en la exposición TU-Automotive Detroit, donde MiNiFi se cargó en un módem personalizado de Qualcomm ubicado en un "automóvil conectado". A medida que el automóvil se desplaza, los componentes de todo el automóvil generan grandes cantidades de datos y se envían a través del CANBUS para su procesamiento. Algunos datos son importantes para volver a un centro de procesamiento remoto en tiempo real: estos datos se transmiten a través de una conexión LTE. LTE está ampliamente disponible, pero el ancho de banda es costoso. Mientras tanto, los datos que eran mucho más grandes pero menos relevantes en el tiempo (diagnósticos del sistema, etc.) podrían agruparse y comprimirse, y luego enviarse en ráfagas a través de WiFi cuando el automóvil estaba dentro del alcance de un punto de acceso conocido. MiNiFi coordinó todas las decisiones de flujo y enrutamiento a través del enriquecimiento geográfico y la retroalimentación del plano de control. Aquí hay un breve video de Joe Niemiec explicando el proceso y mostrando el flujo .
Puede extrapolar esa demostración a muchos otros casos de uso. Es útil pensar en MiNiFi como un "buen invitado", un agente ligero que se ejecuta en hardware que probablemente está dedicado a un propósito principal diferente. Si esto es IoT, un sistema de caja registradora / punto de venta, un módem de automóvil, sensores físicos, etc., es irrelevante para MiNiFi: su trabajo es procesar y eliminar estos datos sin tomar recursos innecesarios de la función principal. Contrasta esto con NiFi, que nuevamente puede ejecutarse simultáneamente con otras aplicaciones, pero idealmente tiene recursos dedicados que puede maximizar para su propio desempeño.
Solo quería saber cómo mini NiFi MiNiFi es diferente de NiFi
¿Tenemos alguna característica adicional? ¿Por qué había necesidad de introducirlo?
Cualquier pensamiento o enlace sería de gran ayuda.
NiFi : Tiene más no. del procesador predefinido, tiene una interfaz de usuario donde puede monitorear, configurar cualquier cosa en tiempo de ejecución, puede escribir su propio procesador.
MiNiFi : Tiene menos no. del procesador (peso ligero) en comparación con NIFI. Fácil de implementar. Pero no tiene interfaz de usuario. Puedes integrarlo con NIFI.