elasticsearch - mutate - match timestamp logstash

¿Puedo eliminar el campo de mensaje de Logstash?

Question

Tengo una configuración básica de Logstash -> Elasticsearch, y resulta que el campo ''mensaje'' no es necesario después de que el filtro de logstash haya hecho su trabajo: almacenar este campo de mensaje sin procesar en elasticsearch solo agrega datos innecesarios al almacenamiento imo.

¿Puedo eliminar este campo de forma segura y causaría problemas a ES? Consejos o lecturas son bienvenidos, gracias a todos.

Answer 1

Habría agregado lo siguiente como comentario a la respuesta de Ben Lim, pero no sé cómo agregar un bloque de código en un comentario, o incluso si eso es posible ...

Si puede usar una combinación de entrada y códec que no cree un campo de message , entonces no necesita eliminarlo.

Por ejemplo, la siguiente combinación de entrada y códec (Líneas JSON sobre TCP) no crea un campo de message :

input {
  tcp {
    port => 5044
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => ["localhost"]
    document_type => "mytype"
    index => "myindex"
  }
}

Answer 2

También puedes hacer esto dentro del filtro json .

filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
}

Answer 3

No, no causará ningún problema a ES. Puede eliminar el campo de message si es redundante o no se utiliza.

Puede agregar este filter al final de los filtros.

mutate
{
     remove_field => [ "message" ]
}