amazon web services - google - AWS EFS vs EBS vs S3(¿diferencias y cuándo usarlo?)
google cloud storage (7)
Además del precio y las características, el rendimiento también varía mucho (como lo menciona el usuario 1677120):
EBS
Tomado de documentos de EBS :
| EBS volume | Throughput | Throughput |
| type | MiB/s | dependent on.. |
|------------|------------|-------------------------------|
| gp2 (SSD) | 128-160 | volume size |
| io1 (SSD) | 0.25-500 | IOPS (256Kib/s per IOPS) |
| st1 (HDD) | 20-500 | volume size (40Mib/s per TiB) |
| sc1 (HDD) | 6-250 | volume size (12Mib/s per TiB) |
Tenga en cuenta que, para io1, st1 y sc1, puede reventar el tráfico de rendimiento al menos a 125Mib / s, pero a 500Mib / s, dependiendo del tamaño del volumen.
Puede aumentar aún más el rendimiento, por ejemplo, implementando volúmenes EBS como RAID0
EFS
Tomado de documentos de EFS
| Filesystem | Base | Burst |
| Size | Throughput | Throughput |
| GiB | MiB/s | MiB/s |
|------------|------------|------------|
| 10 | 0.5 | 100 |
| 256 | 12.5 | 100 |
| 512 | 25.0 | 100 |
| 1024 | 50.0 | 100 |
| 1536 | 75.0 | 150 |
| 2048 | 100.0 | 200 |
| 3072 | 150.0 | 300 |
| 4096 | 200.0 | 400 |
El rendimiento base está garantizado, el rendimiento en ráfaga usa los créditos que acumuló estando por debajo del rendimiento base (por lo que solo tendrá esto por un tiempo limitado, consulte aquí para obtener más detalles).
S3
S3 es una cosa totalmente diferente, por lo que realmente no se puede comparar con EBS y EFS. Además: no hay métricas de rendimiento publicadas para S3. Puede mejorar el rendimiento descargando en paralelo (en alguna parte leí estados de AWS que tendría un rendimiento básicamente ilimitado de esta manera), o agregando CloudFront a la mezcla
Según el título de esta pregunta, ¿cuáles son las diferencias prácticas entre AWS EFS, EBS y S3?
Mi comprensión de cada uno:
- S3 es una instalación de almacenamiento accesible en cualquier lugar
- EBS es un dispositivo que puede montar en EC2
- EFS es un sistema de archivos que puede montar en EC2
Entonces, ¿por qué usaría EBS sobre EFS? ¿Parece que tienen los mismos casos de uso pero diferencias semánticas menores? Aunque EFS se replica a través de las AZ donde EBS es solo un dispositivo montado. Supongo que falta mi comprensión de EBS, por lo tanto, no puedo distinguir.
¿Por qué elegir S3 sobre EFS? Ambos almacenan archivos, escalan y se replican. Supongo que con S3 tienes que usar el SDK donde, al igual que con EFS como sistema de archivos, puedes usar métodos de E / S estándar desde el lenguaje de programación que elijas para crear archivos. ¿Pero es esa la única diferencia real?
Amazon EBS proporciona almacenamiento a nivel de bloque: se utiliza para crear un sistema de archivos y almacenar archivos. Amazon EFS: su sistema de almacenamiento compartido similar a NAS / SAN. Necesita montarlo en un servidor Unix y usarlo. Amazon S3: es un almacenamiento basado en objetos donde cada elemento se almacena con una URL http.
Una de las diferencias es que EBS se puede conectar a 1 instancia a la vez y EFS se puede conectar a varias instancias por lo que el almacenamiento compartido. El almacenamiento de objetos simples S2 no se puede montar.
Arreglando la comparación:
- S3 es una instalación de almacenamiento accesible en cualquier lugar
- EBS es un dispositivo que puede montar en EC2
- EFS es un sistema de archivos que puede montar en varias instancias EC2 al mismo tiempo
En este punto, es un poco prematuro comparar EFS y EBS: no se conoce el rendimiento de EFS ni su confiabilidad.
¿Por qué usarías S3?
- No es necesario que los archivos sean ''locales'' para una o más instancias de EC2.
- (efectivamente) capacidad infinita
- servicio web incorporado, autenticación
En palabras simples
Amazon EBS proporciona almacenamiento a nivel de bloque.
Amazon EFS proporciona almacenamiento de archivos compartidos conectados a la red.
Amazon S3 proporciona almacenamiento de objetos.
Me pregunto por qué la gente no destaca la razón MÁS convincente a favor de EFS. EFS se puede montar en más de una instancia EC2 al mismo tiempo, lo que permite el acceso a los archivos en EFS al mismo tiempo.
Para agregar a la comparación: (ráfaga) el rendimiento de lectura / escritura en EFS depende de los créditos recopilados. La recopilación de créditos depende de la cantidad de datos que almacene en él. Más fecha -> más créditos. Eso significa que cuando solo necesita unos pocos GB de almacenamiento que se leen o escriben a menudo, se quedará sin créditos muy pronto y el rendimiento se reducirá a aproximadamente 50 kb / s. La única forma de solucionar esto (en mi caso) era agregar grandes archivos ficticios para aumentar la tasa de créditos obtenidos. Sin embargo, más almacenamiento -> más costo.
Respuesta de una palabra: DINERO: D
1 GB para almacenar en US-East-1: (actualizado en 2016.dec.20)
- Glaciar: $ 0.004 / Mes (Nota: Gran reducción de precios en 2016)
- S3: $ 0.023 / mes
- S3-IA (anunciado en 2015.09): $ 0.0125 / Mes (+ $ 0.01 / cargo de recuperación de concierto)
- EBS: $ 0.045-0.1 / mes (depende de la velocidad, SSD o no) + costos de IOPS
- EFS: $ 0.3 / mes
Otras opciones de almacenamiento, que pueden usarse para almacenar datos temporalmente mientras / antes de procesarlos:
- SNS
- SQS
- Corriente de Kinesis
- DynamoDB, SimpleDB
Los costos anteriores son solo muestras. Puede haber diferencias por región, y puede cambiar en cualquier momento. También hay costos adicionales para la transferencia de datos (a Internet). Sin embargo, muestran una relación entre los precios de los servicios .
Hay muchas más diferencias entre estos servicios:
EFS es:
- Generalmente disponible (fuera de la vista previa), pero es posible que aún no esté disponible en su región
- Sistema de archivos de red (eso significa que puede tener una latencia mayor, pero se puede compartir en varias instancias; incluso entre regiones)
- Es caro en comparación con EBS (~ 10 veces más) pero ofrece funciones adicionales.
- Es un servicio altamente disponible.
- Es un servicio gestionado
- Puede adjuntar el almacenamiento EFS a una instancia EC2
- Se puede acceder a varias instancias de EC2 simultáneamente
- Desde 2016.dec.20 es posible conectar su almacenamiento EFS directamente a los servidores locales a través de Direct Connect. ()
EBS es:
- Un bloque de almacenamiento (por lo que debe formatearlo). Esto significa que puede elegir qué tipo de sistema de archivos desea.
- Como es un almacenamiento en bloque, puede usar Raid 1 (o 0 o 10) con múltiples almacenamientos en bloque
- Es muy rapido
- Es relativamente barato
- Con los nuevos anuncios de Amazon, puede almacenar hasta 16 TB de datos por almacenamiento en SSD-s.
- Puede tomar una instantánea de un EBS (mientras aún se está ejecutando) por razones de respaldo
- Pero solo existe en una región en particular. Aunque puede migrarlo a otra región, no solo puede acceder a él a través de las regiones (solo si lo comparte a través del EC2; pero eso significa que tiene un servidor de archivos)
- Necesita una instancia EC2 para adjuntarlo a
- Nueva función (2017.Feb.15): ahora puede aumentar el tamaño del volumen, ajustar el rendimiento o cambiar el tipo de volumen mientras el volumen está en uso. Puede continuar utilizando su aplicación mientras el cambio surta efecto.
S3 es:
- Un almacén de objetos (no un sistema de archivos).
- Puede almacenar archivos y "carpetas" pero no puede tener bloqueos, permisos, etc., como lo haría con un sistema de archivos tradicional
- Esto significa que, por defecto, no puede simplemente montar S3 y usarlo como su servidor web
- Pero es perfecto para almacenar sus imágenes y videos para su sitio web
- Excelente para el archivo a corto plazo (por ejemplo, unas pocas semanas). También es bueno para el archivo a largo plazo, pero Glacier es más rentable.
- Ideal para almacenar registros
- Puede acceder a los datos desde cada región (pueden aplicarse costos adicionales)
- Muy disponible, redundante. Básicamente, la pérdida de datos no es posible (99.999999999% de durabilidad, 99.9 de tiempo de actividad SLA)
- Mucho más barato que EBS.
- Puede servir el contenido directamente a Internet, incluso puede tener un sitio web completo (estático) trabajando directamente desde S3, sin una instancia EC2
Glaciar es:
- Almacenamiento de archivos a largo plazo
- Extremadamente barato de almacenar
- Potencialmente muy costoso de recuperar
- Lleva hasta 4 horas "volver a leer" sus datos (por lo tanto, solo almacene los artículos que sabe que no necesitará recuperar por mucho tiempo)
Como se mencionó en el comentario de JDL, hay varios aspectos interesantes en términos de precios. Por ejemplo, Glacier, S3, EFS asigna el almacenamiento en función de su uso, mientras que en EBS debe predefinir el almacenamiento asignado. Lo que significa que debe sobreestimar. (Sin embargo, es fácil agregar más almacenamiento a sus volúmenes de EBS, requiere algo de ingeniería, lo que significa que siempre "paga de más" su almacenamiento de EBS, lo que lo hace aún más costoso).