tutorial - instalar elasticsearch

los datos de elasticsearch aumentan y se duplican en cada reinicio

Question

Estoy usando elasticsearch con angularjs y Oracle en Windows 7. Está trabajando más y más fino (gracias a la ayuda de stackoverflower). Tengo un problema con elasticsearch: el número de elementos en mi documento está aumentando y no sé por qué ni cómo. Mi tabla oráculo indexada por elasticsearch contiene 12010 elementos, ahora tengo 84070 elementos en el documento elástico (frecuentemente revisado por curl _count): así que duplica los datos 7 veces. Volví a indexar la tabla hace unos días pero eliminé antes la carpeta "datos" de elasticsearch.

los datos parecen aumentar cada vez que reinicio Windows.

Gracias por la ayuda.

Así es como instalo e indico mis datos:

Lo hago solo la primera vez:

• descomprimir elástico en la carpeta: D: / work / elasticsearch-1.3.1 /
• instalar la interfaz web:> plugin -install mobz / elasticsearch-head
• instalar jdbc:> plugin --install jdbc --url http://xbib.org/repository/org/xbib/elasticsearch/plugin/elasticsearch-river-jdbc/1.3.0.0/elasticsearch-river-jdbc-1.3.0.0- plugin.zip
• copia "ojdbc6-11.2.0.3.jar" a "D: / work / elasticsearch-1.3.1 / plugins / jdbc"
• service.bat instalar
• service.bat start

creando índice

curl -XPOST ''localhost:9200/donnees''

mapeo:

curl -XPUT ''localhost:9200/donnees/specimens/_mapping'' -d ''{
"specimens" : {
"_all" : {"enabled" : true},
"_index" : {"enabled" : true},
"_id" : {"index": "not_analyzed", "store" : false},
"properties" : {
"O_OCCURRENCEID" : {"type" : "string", "store" : "no","index": "not_analyzed" } ,
....
"I_INSTITUTIONCODE" : {"type" : "string", "store" : "yes","index": "analyzed" }
}
}}''

consulta oráculo y datos de índice:

curl -XPUT ''localhost:9200/_river/donnees_s/_meta'' -d ''{
"type" : "jdbc",
"jdbc" : {
"index" : "donnees",
"type" : "specimens",
"url" : "jdbc:oracle:thin:@localhost:1523:recolnat",
"user" : "user",
"password" : "password",
"sql" : "select * from all_specimens_data"
}
}''

(¿Es correcto? No funciona si reemplazo "curl -XPUT ''localhost: 9200 / _river / donnees_s / _meta''" por "curl -XPUT ''localhost: 9200 / donnees / specimens / _meta'' que utilizo para consulta )

prueba :

curl -XGET ''http://localhost:9200/donnees/specimens/_count?q=*''
=> 12010
curl -XGET ''http://localhost:9200/donnees/specimens/_search?q=P00009359''
=> return data ok

Answer 1

Resolvió gracias a Konstantin V. Salikhov.

Cada vez que el servicio elasticsearch lo inicie, consulte la base de datos con el sql provisto al _river y obtenga los datos (vea "oráculo de consulta e índice de datos" anterior). Si los datos no tienen una columna "_id", el controlador no puede determinar qué registros ya se han cargado y los datos se duplican cada vez. Para evitar el duplicado edito mi tabla "all_specimens_data" en la base de datos (que de hecho es una vista para evitar la modificación de la base de datos) y renombro "O_OCCURRENCEID" a "_id", "O_OCCURRENCEID" es mi UUID de clave principal.

Espero que esto ayude a otros