amazon-s3 - listobjects - s3 getobject

Comprimir archivo en S3

Question

Tengo un archivo de 17.7GB en S3. Se generó como el resultado de una consulta de Hive y no está comprimido.

Sé que al comprimirlo, será de aproximadamente 2.2GB (gzip). ¿Cómo puedo descargar este archivo localmente lo más rápido posible cuando la transferencia es el cuello de botella (250 kB / s)?

No he encontrado una forma sencilla de comprimir el archivo en S3, o habilitar la compresión en la transferencia en s3cmd, boto o herramientas relacionadas.

Answer 1

Respuesta tardía pero encontré esto funcionando perfectamente.

aws s3 sync s3://your-pics .
for i in `find | grep -E "/.jpg$|/.jpg$"`; do gzip "$i" ; echo $i; done
aws s3 sync . s3://your-pics --content-encoding gzip --dryrun

Esto descargará todos los archivos en el cubo de s3 a la máquina (o instancia de ec2), comprime los archivos de imagen y los vuelve a cargar en el cubo de s3. Verifique los datos antes de eliminar el indicador de funcionamiento en seco.

Answer 2

S3 no admite la compresión de secuencias ni es posible comprimir el archivo cargado de forma remota.

Si este es un proceso de una sola vez, sugiero descargarlo a una máquina EC2 en la misma región, comprimirlo allí y luego cargarlo a su destino.

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EC2_GetStarted.html

Si necesitas esto con más frecuencia

Sirviendo CSS y JavaScript comprimidos desde Amazon CloudFront a través de S3