amazon-s3 - precios - precio de amazon s3
La forma más rápida/mejor copia datos entre S3 a EC2? (5)
Tengo una cantidad bastante grande de datos (~ 30G, dividido en ~ 100 archivos) Me gustaría transferir entre S3 y EC2: cuando enciendo las instancias EC2 me gustaría copiar los datos de S3 a los discos locales EC2 tan rápido como pueda, y cuando termine de procesar, me gustaría copiar los resultados a S3.
Estoy buscando una herramienta que haga una copia rápida / paralela de los datos hacia adelante y hacia atrás. Tengo varios scripts pirateados, incluido uno que hace un trabajo decente, así que no estoy buscando punteros a bibliotecas básicas; Estoy buscando algo rápido y confiable.
Creo que será mejor que utilices una tienda Elastic Block Store para almacenar tus archivos en lugar de S3. Un EBS es similar a un ''drive'' en S3 que puede montarse en su instancia EC2 sin tener que copiar los datos cada vez, lo que le permite conservar sus datos entre instancias EC2 sin tener que escribir o leer desde S3 cada vez.
Desafortunadamente, la sugerencia de Adam no funcionará ya que su comprensión de EBS es incorrecta (aunque desearía que él tuviera razón y a menudo pensé que debería funcionar de esa manera) ... como EBS no tiene nada que ver con S3, pero solo le dará un "disco externo" para instancias EC2 que están separadas, pero conectables a las instancias. Todavía tiene que hacer copias entre S3 y EC2, aunque no haya costos de transferencia de datos entre los dos.
No mencionó un sistema operativo de su instancia, por lo que no puedo proporcionar información personalizada. Una herramienta de línea de comando popular que uso es http://s3tools.org/s3cmd ... se basa en Python y, por lo tanto, de acuerdo con la información en su sitio web debería funcionar tanto en Win como en Linux, aunque lo uso TODO el tiempo en Linux. Podría fácilmente crear un script rápido que use su comando integrado de "sincronización" que funciona de manera similar a rsync, y que se active cada vez que termine de procesar sus datos. También puede usar los comandos recursivo poner y obtener para obtener y poner datos solo cuando sea necesario.
Existen herramientas gráficas como Cloudberry Pro que también tienen algunas opciones de línea de comandos para Windows que pueden configurar comandos de programación. http://s3tools.org/s3cmd es probablemente el más fácil.
Instale el paquete s3cmd como
yum install s3cmd
o
sudo apt-get install s3cmd
Dependiendo de su sistema operativo
luego copie datos con esto
s3cmd get s3://tecadmin/file.txt
También puedo listar los archivos.
para más detils ver esto
Para mí, la mejor forma es:
wget http://s3.amazonaws.com/my_bucket/my_folder/my_file.ext
de PuTTy
Por ahora, existe un comando de sincronización en las herramientas de línea de comandos de AWS, que debería hacer el truco: http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
En el inicio: aws s3 sync s3: // mybucket / mylocalfolder
antes del cierre: aws s3 sync / mylocalfolder s3: // mybucket
Por supuesto, los detalles son siempre divertidos de resolver, por ejemplo. ¿Cómo puede ser paralelo? (y puedes hacer que sea más paralelo y es que cualquier gobierno más rápido es la naturaleza virtual de toda la configuración)
Por cierto espero que todavía estés trabajando en esto ... o que alguien lo esté haciendo. ;)