Eliminando antiguos índices en elasticsearch.

logstash filter

Question

Tengo muchos de mis registros indexados en formato logstash-Year-Week. Es decir, si quiero eliminar índices más antiguos que unas pocas semanas, ¿cómo puedo lograr eso en elasticsearch? ¿Hay una manera fácil y perfecta de hacer eso?

Answer 1

Curador sería un partido ideal aquí. Puede encontrar el enlace aquí: https://github.com/elastic/curator

Un comando como el de abajo debería funcionar bien.

curator --host <IP> delete indices --older-than 30 --prefix "twitter-" --time-unit days  --timestring ''%Y-%m-%d''

Puede mantener esto en el CRON para eliminar los índices ocasionalmente.

Puede encontrar algunos ejemplos y documentos aquí: https://www.elastic.co/guide/en/elasticsearch/client/curator/current/examples.html

Answer 2

Eche un vistazo a https://www.elastic.co/guide/en/elasticsearch/client/curator/current/examples.html , una herramienta desarrollada especialmente para este tipo de caso de uso.

Un comando de muestra, para la documentación:

curator --host 10.0.0.2 delete indices --older-than 30 --time-unit days /
   --timestring ''%Y.%m.%d''

Answer 3

Si está utilizando la versión 5.x de elasticsearch, debe instalar la versión 4.x del curador. Puede ver los pasos de compatibilidad e instalación de la versión en la documentation

Una vez instalada. Luego simplemente ejecuta el comando

curator --config path/config_file.yml [--dry-run] path/action_file.yml

Curator proporciona una bandera de ejecución en seco para mostrar solo lo que Curator habría ejecutado. La salida estará en su archivo de registro que ha definido en el archivo config.yml. Si no se registra la clave definida en config_file.yml, entonces currator se enviará a la consola. Para eliminar los índices, ejecute el comando anterior sin --dry-run flag

El archivo de configuración config_file.yml es

---
client:
  hosts:
   - 127.0.0.1
  port: 9200
logging:
  loglevel: INFO
  logfile: "/root/curator/logs/actions.log"
  logformat: default
  blacklist: [''elasticsearch'', ''urllib3'']

El archivo de acción action_file.yml es

---
actions:
  1:
    action: delete_indices
    description: >-
      Delete indices older than 7 days (based on index name), for logstash-
      prefixed indices. Ignore the error if the filter does not result in an
      actionable list of indices (ignore_empty_list) and exit cleanly.
    options:
      ignore_empty_list: True
      timeout_override:
      continue_if_exception: False
      disable_action: False
    filters:
    - filtertype: pattern
      kind: prefix
      value: logstash-
      exclude:
    - filtertype: age
      source: name
      direction: older
      timestring: ''%Y.%m.%d''
      unit: days
      unit_count: 7
      exclude:

Si desea eliminar los índices semanalmente, mensualmente, etc. automáticamente. Entonces solo escribe el guión de bash como

#!/bin/bash
# Script to delete the log event indices of the elasticsearch weekly

#This will delete the indices of the last 7 days
curator --config /path/config_file.yml /path/action_file.yml

Ponga un script de shell en una de estas carpetas: /etc/cron.daily, /etc/cron.hourly, /etc/cron.monthly or /etc/cron.weekly y su trabajo está listo.

NOTA: Asegúrese de usar la sangría correcta en sus archivos de configuración y acción. De lo contrario, no funcionará.

Answer 4

Uso un script de bash, solo cambio los 30 con el número de días que desea conservar

#!/bin/bash

# Zero padded days using %d instead of %e
DAYSAGO=`date --date="30 days ago" +%Y%m%d`
ALLLINES=`/usr/bin/curl -s -XGET http://127.0.0.1:9200/_cat/indices?v | egrep logstash`

echo
echo "THIS IS WHAT SHOULD BE DELETED FOR ELK:"
echo

echo "$ALLLINES" | while read LINE
do
  FORMATEDLINE=`echo $LINE | awk ''{ print $3 }'' | awk -F''-'' ''{ print $2 }'' | sed ''s//.//g'' ` 
  if [ "$FORMATEDLINE" -lt "$DAYSAGO" ]
  then
    TODELETE=`echo $LINE | awk ''{ print $3 }''`
    echo "http://127.0.0.1:9200/$TODELETE"
  fi
done

echo
echo -n "if this make sence, Y to continue N to exit [Y/N]:"
read INPUT
if [ "$INPUT" == "Y" ] || [ "$INPUT" == "y" ] || [ "$INPUT" == "yes" ] || [ "$INPUT" == "YES" ]
then
  echo "$ALLLINES" | while read LINE
  do
    FORMATEDLINE=`echo $LINE | awk ''{ print $3 }'' | awk -F''-'' ''{ print $2 }'' | sed ''s//.//g'' `
    if [ "$FORMATEDLINE" -lt "$DAYSAGO" ]
    then
      TODELETE=`echo $LINE | awk ''{ print $3 }''`
      /usr/bin/curl -XDELETE http://127.0.0.1:9200/$TODELETE
      sleep 1
      fi
  done
else 
  echo SCRIPT CLOSED BY USER, BYE ...
  echo
  exit
fi

Answer 5

yanb (otro golpe)

#!/bin/bash
searchIndex=logstash-monitor
elastic_url=logging.core.k94.kvk.nl
elastic_port=9200

date2stamp () {
    date --utc --date "$1" +%s
}

dateDiff (){
    case $1 in
        -s)   sec=1;      shift;;
        -m)   sec=60;     shift;;
        -h)   sec=3600;   shift;;
        -d)   sec=86400;  shift;;
        *)    sec=86400;;
    esac
    dte1=$(date2stamp $1)
    dte2=$(date2stamp $2)
    diffSec=$((dte2-dte1))
    if ((diffSec < 0)); then abs=-1; else abs=1; fi
    echo $((diffSec/sec*abs))
}

for index in $(curl -s "${elastic_url}:${elastic_port}/_cat/indices?v" |     grep -E " ${searchIndex}-20[0-9][0-9]/.[0-1][0-9]/.[0-3][0-9]" | awk ''{     print $3 }''); do
  date=$(echo ${index: -10} | sed ''s//./-/g'')
  cond=$(date +%Y-%m-%d)
  diff=$(dateDiff -d $date $cond)
  echo -n "${index} (${diff})"
  if [ $diff -gt 1 ]; then
    echo " / DELETE"
    # curl -XDELETE "${elastic_url}:${elastic_port}/${index}?pretty"
  else
    echo ""
  fi
done    

Answer 6

curator_cli delete_indices --filter_list ''{"filtertype":"none"}'' 

borrará todo o filtrará:

 --filter_list ''[{"filtertype":"age","source":"creation_date","direction":"older","unit":"days","unit_count":13},{"filtertype":"pattern","kind":"prefix","value":"logstash"}]''