query - crear index elasticsearch

Logstash no crea índices en Elasticsearch

Question

Estoy tratando de configurar una pila ELK en EC2, instancia de Ubuntu 14.04. Pero todo se instala y todo funciona bien, excepto por una cosa.

Logstash no está creando un índice en Elasticsearch. Cada vez que intento acceder a Kibana, quiere que elija un índice de Elasticsearch.

Logstash está en el nodo ES, pero falta el índice. Este es el mensaje que recibo:

"Unable to fetch mapping. Do you have indices matching the pattern?"

¿Me estoy perdiendo algo? Seguí este tutorial: Océano digital

EDITAR: Aquí está la captura de pantalla del error que estoy enfrentando: Otra captura de pantalla:

Answer 1

¿Es este Kibana3 o 4?

Si se trata de Kibana4, puede hacer clic en la configuración en el menú de la línea superior, elegir índices y luego asegurarse de que el nombre del índice contenga ''logstash- *'', luego haga clic en el nombre del ''campo de tiempo'' y elija ''@timestamp''

Agregué una captura de pantalla de mi configuración a continuación, tenga cuidado con las opciones que marca.

Answer 2

Finalmente logré identificar el problema. Por alguna razón, otro servicio está accediendo al puerto 5000, lo que no nos permite aceptar ninguna conexión entrante. Entonces, todo lo que tiene que hacer es editar el archivo logstash.conf y cambiar el puerto de 5000 a 5001 o cualquier cosa que le resulte conveniente.

Asegúrese de que todos los reenviadores de logstash estén enviando los registros al nuevo puerto, y debería estar listo para continuar. Si ha generado logstash-forwarder.crt utilizando el método FQDN, el logstash-forwarder debe apuntar al mismo FQDN y no a una IP.

Answer 3

Obtuve resultados idénticos en Amazon AMI (clon Centos / RHEL)

De hecho, exactamente como se indica arriba ... Hasta que inyecté algunos datos en Elastic, esto crea el índice del primer day , entonces Kibana comienza a funcionar. Mi simple .conf es:

input {
  stdin {
      type => "syslog"
    }
}
output {
  stdout {codec => rubydebug }
   elasticsearch {
          host => "localhost"
          port => 9200
          protocol => http
       }
}

entonces

cat /var/log/messages | logstash -f your.conf

¿Por qué estás preguntando? Bueno, no está súper claro en ninguna parte (también es un nuevo usuario de Logstash, encontré que esto no está muy claro) de que Logstash nunca terminará (por ejemplo, al usar el plugin de file ), está diseñado para seguir viendo.

Pero al usar stdin, Logstash se ejecutará, enviará datos a Elastic (que crea el índice) y luego desaparecerá.

Si hiciera lo mismo con el plugin de entrada de file , nunca crearía el índice, no sé por qué.