Logstash - Pila ELK
ELK significa Elasticsearch, Logstash, y Kibana. En la pila ELK, Logstash extrae los datos de registro u otros eventos de diferentes fuentes de entrada. Procesa los eventos y luego los almacena en Elasticsearch. Kibana es una interfaz web, que accede a los datos de registro de Elasticsearch y los visualiza.
Logstash y Elasticsearch
Logstash proporciona el complemento Elasticsearch de entrada y salida para leer y escribir eventos de registro en Elasticsearch. Elasticsearch también recomienda Elasticsearch como destino de salida debido a su compatibilidad con Kibana. Logstash envía los datos a Elasticsearch a través del protocolo http.
Elasticsearch proporciona una función de carga masiva, que ayuda a cargar los datos de diferentes fuentes o instancias de Logstash a un motor Elasticsearch centralizado. ELK tiene las siguientes ventajas sobre otras soluciones DevOps:
La pila ELK es más fácil de administrar y se puede escalar para manejar petabytes de eventos.
La arquitectura de pila ELK es muy flexible y proporciona integración con Hadoop. Hadoop se utiliza principalmente con fines de archivo. Logstash se puede conectar directamente a Hadoop mediante flume y Elasticsearch proporciona un conector llamadoes-hadoop para conectarse con Hadoop.
El costo total de propiedad de ELK es mucho menor que sus alternativas.
Logstash y Kibana
Kibana no interactúa con Logstash directamente sino a través de una fuente de datos, que es Elasticsearch en la pila ELK. Logstash recopila los datos de todas las fuentes y Elasticsearch los analiza a una velocidad muy rápida, luego Kibana proporciona información procesable sobre esos datos.
Kibana es una herramienta de visualización basada en la web, que ayuda a los desarrolladores y otros a analizar las variaciones en grandes cantidades de eventos recopilados por Logstash en el motor Elasticsearch. Esta visualización facilita predecir o ver los cambios en las tendencias de errores u otros eventos importantes de la fuente de entrada.