amazon ec2 - east - ¿Cómo hago una copia de seguridad de aws ec2 instance/efhemeral storage?

download key pair amazon ec2 (4)

Si puede configurar un espejo RAID de software, puede conectar un disco respaldado por EBS a la instancia, configurar un espejo y luego esperar a que se complete la replicación. He utilizado con éxito este método para mover datos "efímeros" a EBS después de que ya había creado la instancia (y no quería apagar y reiniciar).

Una vez que tenga los datos en EBS, haga una copia de seguridad con las imágenes de EBS.

Este método funciona especialmente bien cuando tiene copias múltiples de los datos que se ejecutan en diferentes instancias idénticas, pero solo necesita que uno de ellos persista en EBS (en mi caso, usando el servidor Couchbase, los datos de CB estaban en unidades efímeras, pero tenía uno de las instancias reflejadas en EBS de modo que todos los datos en mi clúster terminaron en EBS).

Tengo mi db guardado en / mnt, usando el almacenamiento efímero que viene con la instancia de ec2. Para realizar la copia de seguridad con las herramientas de API ec2, necesitamos un ID de volumen, pero en la consola de aws puedo encontrar el ID de volumen de solo el almacenamiento raíz de 8 gb.

¿Qué debo hacer si quiero la copia de seguridad del almacenamiento efímero? ¿Hay alguna alternativa para realizar copias de seguridad del almacenamiento de instancias?

El almacenamiento efímero o almacenamiento de instancias, tal como está, es como una carpeta / tmp, cuyo contenido desaparece después de un reinicio. Por supuesto, los contenidos efímeros de la unidad no se destruyen en un reinicio suave, pero deben tratarse como si fuesen, ya que no se puede controlar o predecir de forma realista cuándo su instancia decide morir.

Esto ya ha sido señalado.

Lo que me gustaría señalar es que si crea y configura sus AMI de forma adecuada, puede utilizar el almacenamiento efímero para mejorar drásticamente (leer) el rendimiento, siempre y cuando también mantenga las unidades EBS para el almacenamiento real.

Lo que estoy usando en este momento son las instancias de Linux (Ubuntu Tahr) con bcache. Esto se debe principalmente a que la compatibilidad con kernel bcache es relativamente nueva (IIRC, el primero con bcache fue 3.10), y definitivamente querrías un kernel tan reciente como sea posible. Además, Tahr es la próxima versión LTS de Ubuntu, y es definitiva cuando mi proyecto está cerca de su lanzamiento;)

Bcache, en su configuración predeterminada, le permite beneficiarse de la velocidad de lectura del almacenamiento efímero mientras le da la persistencia de EBS: toma un dispositivo de caché rápido (SSD efímero) y lo usa para acelerar un dispositivo lento (EBS). escribir a través del dispositivo de caché (es decir, escribir simultáneamente en caché efímera y EBS).

Esto significa que, en caso de que una instancia se bloquee o se detenga de otra manera, aún puede montar el volumen de EBS directamente sin la memoria caché y acceder a todos sus datos como lo haría con volúmenes de EBS. También puede reconfigurar los dispositivos efímeros ahora borrados y volver a configurarlos como un caché en el EBS para volver a disfrutar de lecturas y búsquedas muy rápidas.

Mi configuración particular es de dos dispositivos EBS, allanados en modo de banda con mdadm + dos dispositivos SSD efímeros también allanados de la misma manera. Luego los configuré con bcache, usando la matriz efímera como caché y la matriz de EBS como el dispositivo de "respaldo". Las unidades EBS pueden ser de cualquier tamaño, y siempre puedes expandirlas (algo complicado con EC2, porque tienes que crear una instantánea de los volúmenes actuales de EBS y luego crear nuevas más grandes basadas en esa instantánea; no puedes cambiar el tamaño). un volumen EBS existente).

Por supuesto, deberá crear un script que se ejecute dentro de su instancia al inicio para configurar el almacenamiento efímero y adjuntarlo como un dispositivo de caché en su dispositivo de respaldo respaldado por EBS. Animo a leer y experimentar con mdadm y bcache .

Para el registro, las pruebas con la herramienta de estrés de Cassandra, obtengo un mejor rendimiento de lectura con los volúmenes de EBS combinados con las unidades efímeras que con el simple trazado de las unidades efímeras. Esto se debe al algoritmo utilizado en bcache, que es muy inteligente.

El uso de las unidades efímeras como caché también redujo el tráfico de red y es rentable, ya que reduce las E / S en EBS y, por lo tanto, su factura mensual.

También tenga en cuenta que los diferentes tipos de almacenamiento en caché de bcache proporcionan:

Regrabar: utilice el SSD como dispositivo de lectura / escritura, y solo escriba en el dispositivo de copia de seguridad cuando las páginas deban ser desalojadas del caché. Esto no es útil para las configuraciones efímeras de EC2, ya que hará que su dispositivo de copia de seguridad se vuelva inútil o se detenga.
Escritura: todas las escrituras van a la memoria caché y a la copia de seguridad. Esto garantiza que el dispositivo de copia de seguridad esté siempre tan actualizado como el dispositivo de caché, y siempre se puede usar sin el dispositivo de caché. Útil para EC2.
Escribir alrededor: todas las escrituras van directamente al dispositivo de respaldo, y no se escriben en el dispositivo de caché hasta que una solicitud de lectura ocurra para esa información en el futuro. Solo las lecturas se guardan en caché en el dispositivo de caché. Esto es tan seguro como escribirlo, y es útil si usted sabe que sus escritos probablemente no se leerán en el futuro cercano. Esto evita llenar el dispositivo de caché con datos que no se solicitan con frecuencia, de modo que hay más espacio para los datos solicitados. Un par de ejemplos podría ser un servidor de carga de archivos, un sistema donde se escribe una gran cantidad de datos de registro, etc. Si sabe que su conjunto de datos completo es significativamente más grande que el tamaño de almacenamiento efímero, es probable que este sea el más eficiente opción en un gran número de casos de uso.

Cualquier solución de copia de seguridad a nivel de archivo (no basada en instantáneas de EBS) puede hacer una copia de seguridad de su almacenamiento efímero. Dicho esto, debe considerar cuándo utilizar el almacenamiento efímero y tener buenas razones para usarlo para datos persistentes. Para ciertas aplicaciones, como Cassandra, esta es la configuración recomendada. En ese caso, su solución de copia de seguridad principalmente volcará los datos del almacenamiento efímero a un volumen de EBS que se tomará instantáneamente o directamente a S3. En algunos casos, puede definir la replicación y asegurarse de que todos los datos en el dispositivo efímero también se repliquen en los volúmenes de EBS.

En primer lugar, nunca debe almacenar nada de valor duradero en el almacenamiento efímero en Amazon EC2 , excepto si sabe exactamente lo que está haciendo y está preparado para tener siempre copias de seguridad puntuales, etc. - su pregunta parece indicar que puede estar confundido con el concepto de almacenamiento efímero, la diferencia respectiva entre Amazon EC2 Instance Storage y Amazon EBS y las implicaciones significativas con respecto a la seguridad de datos y los requisitos de copia de seguridad:

El almacenamiento efímero se perderá en los ciclos de parada / inicio y generalmente puede desaparecer , por lo que definitivamente no desea poner nada de valor duradero allí, es decir, solo coloque datos temporales allí que pueda perder o reconstruir fácilmente , como un archivo de intercambio. o datos estrictamente temporales en uso durante los cálculos. Por supuesto, puede almacenar grandes índices allí, por ejemplo, pero debe estar preparado para volver a generarlos una vez que se haya eliminado el almacenamiento por cualquier motivo (reinicio de la instancia, falla del hardware, ...).

Esa es una de las muchas razones por las que Eric Hammond resumió excelentemente en You Should Use EBS Boot Instances en Amazon EC2 ), que describe el historial y las diferencias entre los dos conceptos de almacenamiento y evalúa los pocos beneficios posibles restantes del almacenamiento efímero (principalmente abundante y gratuito) )

Solución del problema

Estas explicaciones deben aclarar por qué no puede hacer una copia de seguridad de los volúmenes de almacenamiento efímeros con un mecanismo que solo se aplica a los volúmenes de EBS (es decir, instantáneas de EBS). En consecuencia, puede hacer una copia de seguridad de la primera a través de la herramienta de copia de seguridad de su sistema operativo regular, con Duplicity como una opción popular que facilita opcionalmente Amazon S3 , como se explica en mi respuesta al software de copia de seguridad más fácil de usar para Live Linux Server .