elasticsearch - mutate - match timestamp logstash

¿Puedo eliminar el campo de mensaje de Logstash?

Question

Tengo una configuración básica de Logstash -> Elasticsearch, y resulta que el campo ''mensaje'' no es necesario después de que el filtro de logstash haya hecho su trabajo: almacenar este campo de mensaje sin procesar en elasticsearch solo agrega datos innecesarios al almacenamiento imo.

¿Puedo eliminar este campo de forma segura y causaría problemas a ES? Consejos o lecturas son bienvenidos, gracias a todos.

Answer 1

Habría agregado lo siguiente como comentario a la respuesta de Ben Lim, pero no sé cómo agregar un bloque de código en un comentario, o incluso si eso es posible ...

Si puede usar una combinación de entrada y códec que no cree un campo de message , entonces no necesita eliminarlo.

Por ejemplo, la siguiente combinación de entrada y códec (Líneas JSON sobre TCP) no crea un campo de message :

input {
tcp {
port => 5044
codec => json_lines
}
}
output {
elasticsearch {
hosts => ["localhost"]
document_type => "mytype"
index => "myindex"
}
}

Answer 2

También puedes hacer esto dentro del filtro json .

filter {
json {
source => "message"
remove_field => ["message"]
}
}

Answer 3

No, no causará ningún problema a ES. Puede eliminar el campo de message si es redundante o no se utiliza.

Puede agregar este filter al final de los filtros.

mutate
{
remove_field => [ "message" ]
}