amazon-web-services - servicios - backup en la nube para empresas
Copia de seguridad: Amazon S3 o Glacier: ¿muchos archivos pequeños? (4)
Mejor usar pocos archivos más grandes que muchos pequeños
Hay dos enfoques para poner archivos en Amazon Glacier. Puede interactuar directamente con las bóvedas o usar S3 como interfaz.
Estoy usando S3 (y Amazon Management Console) para poder ver el contenido del archivo y, al mismo tiempo, tenerlo almacenado de forma económica en Glacier.
Este enfoque tiene un inconveniente: como el almacenamiento de cualquier información en Glacier tiene una sobrecarga de datos (que también se paga), lógicamente hay un punto de equilibrio. Antes de la reducción de precios de 2014-04, hice un cálculo y el tamaño crítico es de aproximadamente 16 kB, almacenar archivos más pequeños en Glacier (usando AWS S3 como frontend) era más costoso que mantenerlos solo en S3. Con la reducción de precios para el almacenamiento de S3 (Glacier no cambió) el punto de equilibrio incluso fue mayor.
Supongo que, incluso sin S3 como interfaz, la situación será similar, aunque un poco más amigable para archivos más pequeños.
Estoy tratando de entender el complicado modelo de precios de Amazon Glacier. No quiero almacenar una gran cantidad de datos, dicen unos pocos GB 10. Espero nunca descargar los archivos y, si es necesario, no me importa cuánto tiempo demore.
¿Hay un costo por archivo que subo? ¿Es más barato comprimir muchos archivos pequeños y cargarlos en algunos trozos o 10.000 imágenes dicen que no importan? (No puedo obtener una respuesta directa a esto durante la búsqueda)
¿Puedo solicitar la descarga de un archivo completo / Bucket o es archivo por archivo?
Desde el 21 de noviembre de 2016, Amazon actualizó la política de nivel gratuito para las recuperaciones de glaciares y actualizó la política de "5% de su promedio de almacenamiento mensual" a favor de un 10 GB gratuito mensual por mes. Sin embargo, si su política de recuperación se estableció antes de ese día, entonces todavía está en la política del "5%" y las otras respuestas aquí todavía se aplican a usted.
Si su política de recuperación se estableció después del 21 de noviembre de 2016 y está en el lugar de la OP:
Solo está almacenando 10 GB, por lo que puede recuperar todos sus datos de forma gratuita una vez al mes con las recuperaciones estándar. No haría ninguna diferencia si las 10,000 fotos están comprimidas en un archivo zip o no (para las recuperaciones).
La única variable en este escenario es el número de solicitudes de carga. 10,000 solicitudes a un precio de $ 0.05 por 1,000 es solo $ 0.50 y eso es una tarifa única para su caso específico.
Más información sobre precios en AWS Glacier Preguntas frecuentes
ACTUALIZAR:
Llegué a esta conclusión de forma independiente después de un par de tiempos de espera al intentar cargar un archivo de 8 GB.
La información detallada de precios para S3 está disponible here . Los detalles de las funciones API disponibles están here .
Para S3, se le cobra principalmente por el ancho de banda de carga (bytes enviados a S3), el ancho de banda de descarga (bytes recibidos desde S3) y el almacenamiento (bytes EN S3). También se le cobrará por el número y tipo de llamadas a la API.
Entonces, si carga sus 10GB de datos a S3 en 10,000 archivos de 1MB, guárdelos durante un mes y luego descarga cada uno de los archivos una vez, se le cobrará:
- $ 0.00 para subir el ancho de banda (esto es gratis)
- $ 0.10 para las 10,000 solicitudes PUT para subir los archivos
- $ 0.95 por almacenar los 10GB por un mes
- $ 1.08 para ancho de banda de descarga de 10GB (el primero es gratis, luego $ 0.12 / GB)
- $ 0.01 para las 10,000 solicitudes GET para descargar los archivos
Eso es $ 2.14. Si cargó y descargó una vez cada uno, pero conservó los datos durante un año, solo el costo de almacenamiento aumentaría hasta 12 * $ 0.95, o $ 11.40. Si sus archivos promediaron solo 100 KB, por lo que tenía 100,000 de ellos, pagaría 10 veces más por las solicitudes PUT y GET, o $ 1.10 en lugar de $ 0.11.
Solo puede cargar y descargar un solo archivo por operación. Si combinaba sus archivos en uno usando Zip, solo ahorraría usando menos operaciones, que, como puede ver, son bastante baratas para comenzar.
Sin embargo, hay una peculiaridad aquí. Estoy bastante seguro de que se le cobrará por todo el uso de ancho de banda al cargar y descargar, incluidos los encabezados de solicitud, no solo los cuerpos que contienen sus datos. Por lo tanto, si sus archivos fueran realmente pequeños, los encabezados de solicitud podrían llegar a ser significativos, tal vez tanto como los propios archivos. En ese caso sus costos de ancho de banda se duplicarían.
Los precios de los glaciares son más complicados, y yo nunca lo he usado. Básicamente, reduce el costo de almacenamiento en casi diez veces, dejando los otros costos iguales, y agregando costos para archivar y restaurar por objeto. Esos costos parecen ser significativos si tiene muchos objetos pequeños, necesita obtener una gran cantidad de sus archivos a la vez o los archivos con frecuencia. Glacier parece ser mejor cuando tienes muchos datos (terabytes o más, no solo gigabytes), pero pocas operaciones. Dado que solo tiene 10 GB de datos, S3 es tan económico que no vale la pena considerar Glacier.
Finalmente, AWS tiene un nivel de uso gratuito durante el primer año, que parece que cubriría todos sus costos, excepto la mitad de los cargos de almacenamiento.
Sé que esto es un poco viejo, pero aún puede encontrar mi respuesta útil (espero). La otra respuesta se basa en S3, que no fue su pregunta, creo.
El glaciar está destinado para el acceso de archivos raros. Teniendo eso en cuenta, de alguna manera te castigan si necesitas recuperar muchos archivos a la vez. En su caso particular, sugeriría cargar 10.000 archivos separados en lugar de, digamos, 100 archivos ZIP con 100 archivos cada uno. La razón es muy sencilla. Glacier le permitirá descargar de forma gratuita solo el 5% del archivo total y se prorratea diariamente. Entonces, si, por ejemplo, necesita descargar 10 fotos que tomó un fin de semana, podría obtener esas 10 fotos de forma gratuita si se distribuyen en la bóveda. Por otro lado, si tiene un archivo ZIP con 100 fotos adentro, se verá obligado a descargar ese archivo zip que probablemente sea más del 5% del archivo total, lo que significa que pagará algunas tarifas por la recuperación.
La única razón por la que tiene sentido cargar menos archivos es evitar las solicitudes de alta carga (10.000 archivos por lo general significan 10.000 solicitudes). A las solicitudes se les cobra $ 0,05 por 1000. Estas tarifas son mucho más bajas que las tarifas de recuperación (teniendo en cuenta los límites impuestos), por eso siempre recomendaría cargar archivos separados. Por supuesto, usted puede comprimir archivos que tengan sentido estar juntos.
Los costos de recuperación son muy complejos en el glaciar del Amazonas. Tienen una buena explicación aquí: http://aws.amazon.com/glacier/faqs/#How_much_data_can_I_retrieve_for_free Pero incluso allí deberá prestar atención a los cálculos para tener una idea clara de cómo se facturan los costos.
Con respecto a esta pregunta: ¿Puedo solicitar la descarga de un archivo completo / Bucket o es archivo por archivo?
Las solicitudes se realizan archivo por archivo, aunque puede seleccionar muchos archivos a la vez y descargarlos por completo.
Decidir si usar S3 o Glacier realmente depende de sus necesidades de acceso a archivos. Si necesita acceso posterior a sus archivos, Glacier es su respuesta. De lo contrario, para 10GB S3 todavía puede ser barato y más flexible que Glacier. En mi caso, considero que las fotos de familia son una cosa muy preciosa. Por eso tengo una copia de seguridad de 100GB en el glaciar con todas las fotos de mi familia. No pretendo acceder a él a menos que haya algún tipo de desastre en mi hogar. En ese caso, creo que no me importaría el costo de recuperación si eso ahorrara algo que realmente me importa. Pero eso es sólo yo.