nosql - tutorial - mongodb español

¿Qué hace Redis cuando se queda sin memoria?

Question

Esta podría ser una pregunta fácil, pero me está costando encontrar la respuesta. ¿Cómo maneja Redis 2.0 al quedarse sin memoria máxima asignada? ¿Cómo decide qué datos eliminar o qué datos mantener en la memoria?

Answer 1

Actualizar redis 4.0

127.0.0.1:6379> MEMORY HELP
1) "MEMORY DOCTOR                        - Outputs memory problems report"
2) "MEMORY USAGE <key> [SAMPLES <count>] - Estimate memory usage of key"
3) "MEMORY STATS                         - Show memory usage details"
4) "MEMORY PURGE                         - Ask the allocator to release memory"
5) "MEMORY MALLOC-STATS                  - Show allocator internal stats"

/usr/local/etc/redis.conf

############################## MEMORY MANAGEMENT ################################

# Set a memory usage limit to the specified amount of bytes.
# When the memory limit is reached Redis will try to remove keys
# according to the eviction policy selected (see maxmemory-policy).
#
# If Redis can''t remove keys according to the policy, or if the policy is
# set to ''noeviction'', Redis will start to reply with errors to commands
# that would use more memory, like SET, LPUSH, and so on, and will continue
# to reply to read-only commands like GET.
#
# This option is usually useful when using Redis as an LRU or LFU cache, or to
# set a hard memory limit for an instance (using the ''noeviction'' policy).
#
# WARNING: If you have slaves attached to an instance with maxmemory on,
# the size of the output buffers needed to feed the slaves are subtracted
# from the used memory count, so that network problems / resyncs will
# not trigger a loop where keys are evicted, and in turn the output
# buffer of slaves is full with DELs of keys evicted triggering the deletion
# of more keys, and so forth until the database is completely emptied.
#
# In short... if you have slaves attached it is suggested that you set a lower
# limit for maxmemory so that there is some free RAM on the system for slave
# output buffers (but this is not needed if the policy is ''noeviction'').
#
# maxmemory <bytes>

# MAXMEMORY POLICY: how Redis will select what to remove when maxmemory
# is reached. You can select among five behaviors:
#
# volatile-lru -> Evict using approximated LRU among the keys with an expire set.
# allkeys-lru -> Evict any key using approximated LRU.
# volatile-lfu -> Evict using approximated LFU among the keys with an expire set.
# allkeys-lfu -> Evict any key using approximated LFU.
# volatile-random -> Remove a random key among the ones with an expire set.
# allkeys-random -> Remove a random key, any key.
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
# noeviction -> Don''t evict anything, just return an error on write operations.
#
# LRU means Least Recently Used
# LFU means Least Frequently Used
#
# Both LRU, LFU and volatile-ttl are implemented using approximated
# randomized algorithms.
#
# Note: with any of the above policies, Redis will return an error on write
#       operations, when there are no suitable keys for eviction.
#
#       At the date of writing these commands are: set setnx setex append
#       incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd
#       sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby
#       zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby
#       getset mset msetnx exec sort
#
# The default is:
#
# maxmemory-policy noeviction

# LRU, LFU and minimal TTL algorithms are not precise algorithms but approximated
# algorithms (in order to save memory), so you can tune it for speed or
# accuracy. For default Redis will check five keys and pick the one that was
# used less recently, you can change the sample size using the following
# configuration directive.
#
# The default of 5 produces good enough results. 10 Approximates very closely
# true LRU but costs more CPU. 3 is faster but not very accurate.
#
# maxmemory-samples 5

Answer 2

De redis.conf , versión 2.8

# Don''t use more memory than the specified amount of bytes.
# When the memory limit is reached Redis will try to remove keys
# according to the eviction policy selected (see maxmemory-policy).
#
# If Redis can''t remove keys according to the policy, or if the policy is
# set to ''noeviction'', Redis will start to reply with errors to commands
# that would use more memory, like SET, LPUSH, and so on, and will continue
# to reply to read-only commands like GET.
#
# This option is usually useful when using Redis as an LRU cache, or to set
# a hard memory limit for an instance (using the ''noeviction'' policy).
#
# WARNING: If you have slaves attached to an instance with maxmemory on,
# the size of the output buffers needed to feed the slaves are subtracted
# from the used memory count, so that network problems / resyncs will
# not trigger a loop where keys are evicted, and in turn the output
# buffer of slaves is full with DELs of keys evicted triggering the deletion
# of more keys, and so forth until the database is completely emptied.
#
# In short... if you have slaves attached it is suggested that you set a lower
# limit for maxmemory so that there is some free RAM on the system for slave
# output buffers (but this is not needed if the policy is ''noeviction'').
#
# maxmemory <bytes>

# MAXMEMORY POLICY: how Redis will select what to remove when maxmemory
# is reached. You can select among five behaviors:
#
# volatile-lru -> remove the key with an expire set using an LRU algorithm
# allkeys-lru -> remove any key according to the LRU algorithm
# volatile-random -> remove a random key with an expire set
# allkeys-random -> remove a random key, any key
# volatile-ttl -> remove the key with the nearest expire time (minor TTL)
# noeviction -> don''t expire at all, just return an error on write operations
#
# Note: with any of the above policies, Redis will return an error on write
#       operations, when there are no suitable keys for eviction.
#
#       At the date of writing these commands are: set setnx setex append
#       incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd
#       sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby
#       zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby
#       getset mset msetnx exec sort
#
# The default is:
#
# maxmemory-policy volatile-lru

Answer 3

Recientemente comencé a leer sobre Redis, así que no estoy seguro. Pero, me encontré con algunas cositas que pueden ser útiles.

Aquí hay un fragmento de http://antirez.com/post/redis-as-LRU-cache.html :

Otra forma de utilizar Redis como caché es la directiva de memoria máxima, una característica que permite especificar la cantidad máxima de memoria que se va a utilizar. Cuando se agregan nuevos datos al servidor, y el límite de memoria ya se alcanzó, el servidor eliminará algunos datos antiguos eliminando una clave volátil, es decir, una clave con un EXPIRE (un tiempo de espera) establecido, incluso si la clave aún está lejos de expirar automáticamente

Además, Redis 2.0 tiene un modo VM en el que todas las claves deben caber en la memoria, pero los valores para las claves que se usan con poca frecuencia pueden estar en el disco:

• redis.io/topics/virtual-memory
• http://antirez.com/post/redis-virtual-memory-story.html

Answer 4

Recientemente experimenté una situación de memoria libre y mi aplicación se detuvo (no es posible escribir, las lecturas fueron posibles), se ejecutaron scripts PHP detenidos en sus pistas a mitad de camino y se tuvieron que kill -9 manualmente kill -9 ''d (incluso después de que la memoria estuvo disponible).

Supuse que se había producido la pérdida de datos (o la inconsistencia de los datos), así que hice un flushdb y flushdb de las copias de seguridad. ¿Lección aprendida? Las copias de seguridad son su amigo.

Answer 5

Redis no es un caché como memcached, por defecto (donde el parámetro maxmemory-policy está configurado para noeviction ) no se eliminarán todos los datos que ingrese en redis, la única excepción es al usar EXPIRE.

Answer 6

Si se pregunta qué es lo que Redis (2.8) realmente responde cuando alcanza el máximo definido por su configuración, se ve así:

$ redis-cli
127.0.0.1:6379> GET 5
"bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb"
127.0.0.1:6379> SET 5 a
(error) OOM command not allowed when used memory > ''maxmemory''.

Answer 7

Si tiene activada la funcionalidad de la memoria virtual (nueva en la versión 2.0 o 2.2, creo), entonces Redis comienza a almacenar los datos "no tan frecuentemente utilizados" en el disco cuando se agota la memoria.

Si la memoria virtual en Redis está deshabilitada, parece que la memoria virtual del sistema operativo se está agotando (es decir, intercambiando) y el rendimiento se reduce enormemente.

Ahora, también puede configurar Redis con un parámetro de memoria máxima, lo que evita que Redis use más memoria (la predeterminada).

Las versiones más recientes de Redis tienen varias políticas cuando se alcanza la maxmemory:

• volátil-lru elimina una clave entre las que tienen un conjunto caducado, tratando de eliminar las claves que no se usaron recientemente.
• volátil-ttl elimina una clave entre las que tienen un conjunto de caducidad, tratando de eliminar las claves con un tiempo restante corto de vida.
• volátil-aleatorio eliminar una clave aleatoria entre los que tienen un conjunto caduco.
• allkeys-lru como volátil-lru, pero eliminará todo tipo de clave, tanto las teclas normales como las que tengan un juego de expiración.
• allkeys-random como volátil-aleatorio, pero eliminará todo tipo de claves, tanto las teclas normales como las claves con un conjunto de expiración.

Si elige una política que solo elimina claves con un conjunto EXPIRE, cuando Redis se queda sin memoria, parece que el programa aborta la operación malloc (). Es decir, si intenta almacenar más datos, la operación simplemente falla miserablemente.

Algunos enlaces para obtener más información (ya que no solo debes tomar mi palabra):

• http://antirez.com/post/redis-as-LRU-cache.html
• http://eli.thegreenplace.net/2009/10/30/handling-out-of-memory-conditions-in-c/