labs - redis vs mongodb

¿Existe un límite práctico para la cantidad de elementos en un conjunto ordenado en redis?

Question

Actualmente estoy migrando algunos datos a Redis y estoy considerando usar un conjunto ordenado para almacenar aproximadamente 1.4e6 elementos (con puntuaciones / conteos asociados). ¿Es probable que este número de elementos en un conjunto exceda un límite práctico, lo que hace que sea demasiado doloroso usar el conjunto? Planeo ejecutar redis de 64 bits, por lo que la memoria disponible para los datos no debería ser un problema. ¿Alguien tiene experiencia con un conjunto ordenado de este tamaño? Si es así, ¿cuáles son sus tiempos de inserción y consulta para el conjunto?

Answer 1

Depende de lo que quieras hacer con el set. La mayoría de las operaciones simples son O (log n), lo que significa que toman solo el doble de tiempo para un conjunto de un millón de elementos que para un conjunto de mil elementos. A menos que haya algo gravemente roto en su configuración como un límite de memoria más pequeño que el conjunto, el rendimiento no debería ser un problema.

Donde hay que tener cuidado es con las operaciones en conjuntos múltiples, en particular la unión, eso llevará mil veces más para el conjunto de millones de artículos. Sin embargo, en términos prácticos, esto no es necesariamente un problema, ya sea que sea lo suficientemente rápido para sus propósitos (redis tiene comandos documentados como demasiado lentos para el uso de producción que aún se miden mejor en milisegundos) o puede ajustar el orden de las operaciones para Evita correr la unión en sets realmente grandes.

Answer 2

Nuestro sitio tiene un conjunto ordenado con aproximadamente 2 millones de elementos (direcciones de correo electrónico) con puntuaciones enteras y ocupó aproximadamente 320 MB en el tamaño de la memoria.