queries - sqlite query language
¿La búsqueda de texto completo más rápida hoy? (3)
alerón:
Esto es solo otro Lucene vs Sphinx vs lo que sea,
Vi que todos los otros hilos tenían casi dos años, así que decidí comenzar de nuevo.
Aquí está el requisito:
tamaño de datos: máximo 10 GB.
filas: casi miles de millones
la indexación debe ser rápida
la búsqueda debe ser inferior a 0 ms [vale, broma ... reír ... pero mantén esto lo más bajo posible]
En el mundo de hoy, ¿qué / qué / cómo lo hago?
editar: Hice un poco de sincronización en lucene, y para indexar datos de 1.8 gb, tomó 5 minutos.
la búsqueda es bastante rápida, a menos que haga un * . a * toma 400 ~ 500 ms.
Mi mayor preocupación es la indexación, lo que está tomando tiempo loooonnnnggg, y muchos recursos !!
Consulte la wiki de Lucene para obtener sugerencias sobre cómo mejorar la velocidad de indexación de Lucene . Esto es bastante sucinto. En general, Lucene es bastante rápido (se usa para búsquedas en tiempo real). Los consejos serán útiles para descubrir si te estás perdiendo algo "obvio".
No tengo otra experiencia que no sea con Lucene, es prácticamente la solución de indexación predeterminada, así que no pienses que puedes equivocarte demasiado.
10 GB no es una gran cantidad de datos. Podrá volver a indexarlo rápidamente o mantenerlo en SSD para obtener mayor velocidad. Y, por supuesto, mantenga todo su índice en RAM (que es compatible con Lucene) para búsquedas súper rápidas.
Mi mayor preocupación es la indexación, lo que está tomando tiempo loooonnnnggg, y muchos recursos !!
Echa un vistazo a Lusql , lo usamos una vez, FWIW 100 GBdata de mysql en una máquina decente tardó poco más de una hora en indexar, en sistema de archivos (NTFS)
Ahora, si agrega SSD o la tecnología de disco ultrarrápida, puede reducirlo considerablemente