csv - logstash parsing date

importar csv a elasticsearch

Question

Estoy haciendo el tutorial de "búsqueda elástica para comenzar". Desafortunadamente este tutorial no cubre el primer paso que está importando la base de datos csv en elasticsearch.

Busqué en Google para encontrar una solución, pero no funciona desafortunadamente. Esto es lo que quiero lograr y lo que tengo:

Tengo un archivo con datos que quiero importar (simplificado)

id,title
10,Homer''s Night Out
12,Krusty Gets Busted

Me gustaría importarlo usando logstash . Después de investigar en internet, termino con las siguientes configuraciones:

input {
    file {
        path => ["simpsons_episodes.csv"]
        start_position => "beginning"
    }
}

filter {
    csv {
        columns => [
            "id",
            "title"
        ]
    }
}

output {
    stdout { codec => rubydebug }
    elasticsearch {
        action => "index"
        hosts => ["127.0.0.1:9200"]
        index => "simpsons"
        document_type => "episode"
        workers => 1
    }
}

Tengo problemas para especificar el tipo de documento, así que una vez que se importan los datos, navego a http: // localhost: 9200 / simpsons / episode / 10. Espero ver el resultado con el episodio 10.

Answer 1

Buen trabajo, casi estás allí, solo te falta la identificación del documento. Debes modificar tu salida elasticsearch así:

elasticsearch {
    action => "index"
    hosts => ["127.0.0.1:9200"]
    index => "simpsons"
    document_type => "episode"
    document_id => "%{id}"             <---- add this line
    workers => 1
}

Después de esto, podrás consultar el episodio con id 10

GET http://localhost:9200/simpsons/episode/10