nosql - trae - ¿Debo usar redis para almacenar una gran cantidad de archivos binarios?

redis ventajas y desventajas

Question

Necesito almacenar una gran cantidad de archivos binarios (10 - 20 TB, cada archivo desde 512 kb hasta 100 MB).

Necesito saber si Redis será eficiente para mi sistema. Necesito las siguientes propiedades en mi sistema:

• Alta disponibilidad
• Failover
• Fragmentación

Tengo la intención de usar un grupo de hardware de productos básicos para reducir los costos lo más posible. Por favor, sugiera los pros y los contras de construir dicho sistema utilizando Redis. También estoy preocupado por los altos requisitos de ram de Redis.

Answer 1

No usaría Redis para tal tarea. Otros productos serán un mejor ajuste de la OMI.

Redis es un almacén de datos en memoria. Si desea almacenar 10-20 TB de datos, necesitará 10-20 TB de RAM, lo cual es costoso. Además, el asignador de memoria está optimizado para objetos pequeños, no grandes. Probablemente tendría que cortar sus archivos en varios trozos pequeños, no sería realmente conveniente.

Redis no proporciona una solución ad-hoc para HA y failover. Se proporciona una replicación maestro / esclavo (y funciona bastante bien), pero sin soporte para la automatización de esta conmutación por error. Los clientes deben ser lo suficientemente inteligentes como para cambiar al servidor correcto. Algo en el lado del servidor (pero esto no está especificado) tiene que cambiar los roles entre los nodos maestro y esclavos de una manera confiable. En otras palabras, Redis solo proporciona una solución de conmutación por error de alta disponibilidad / hágalo usted mismo.

Sharding tiene que ser implementado en el lado del cliente (como con memcached). Algunos clientes tienen soporte para ello, pero no todos. El cliente más rápido (hiredis) no lo hace. De todos modos, cosas como el rebalanceo deben implementarse sobre Redis. Redis Cluster, que se supone que es compatible con dichas capacidades de fragmentación, aún no está listo.

Sugeriría utilizar algunas otras soluciones. MongoDB con GridFS puede ser una posibilidad. Hadoop con HDFS es otro. Si le gustan los proyectos de vanguardia, es posible que desee probar el Elliptics Network .