redis - predictiva - ¿Por qué un archivo RedMed dump.rdb de 500 MB tarda aproximadamente 5,0 GB de memoria?

marcacion predictiva elastix

Question

En realidad, tengo 3 instancias de Redis y las puse juntas en este 500MB + dump.rdb. El servidor de Redis puede leer este dump.rdb y parece que todo está bien. Entonces noto que el servidor redis cuesta más de 5.0GB de memoria. No sé por qué.

¿Hay algo mal con mi archivo? Mi db tiene aproximadamente 3 millones de claves, los valores para cada clave es una lista que contiene aproximadamente 80 enteros.

Yo uso este MÉTODO para poner 3 instancia juntos.

PD: Otro dump.rdb con el mismo tamaño y la misma estructura clave-valor cuesta solo 1GB de memoria.

Y mis datos parecen keyNum -> {num1, num2, num3, ......}. Todos los números están entre 1 y 4,000,000. Entonces, ¿debería usar List para almacenarlos? Por ahora, uso lpush (k, v). ¿Esto costó demasiado?

Answer 1

La relación entre la memoria y el tamaño del volcado depende de los tipos de datos que Redis usa internamente.

Para objetos pequeños (hashes, listas y conjuntos ordenados), redis usa ziplists para codificar datos. Para conjuntos pequeños hechos de enteros, redis usa Intsets. ZipLists e IntSets se almacenan en el disco en el mismo formato que están almacenados en la memoria . Por lo tanto, esperaría una proporción 1: 1 si sus datos usan estas codificaciones.

Para objetos más grandes, la representación en memoria es completamente diferente de la representación en disco. El formato en disco está comprimido, no tiene punteros, no tiene que ocuparse de la fragmentación de la memoria. Entonces, si sus objetos son grandes, una relación de memoria a disco de 10: 1 es normal y esperada.

Si desea saber qué objetos consumen memoria, use redis-rdb-tools para perfilar sus datos. A partir de ahí, siga las notas de optimización de memoria en redis.io , así como la entrada de la wiki de optimización de memoria en redis-rdb-tools .

Answer 2

Puede haber más, pero creo que Redis comprime los archivos de volcado.