amazon-s3 - precios - curso aws

¿Descargando un cubo completo de S3?

Question

Noté que no parece haber una opción para descargar un depósito de S3 completo desde la Consola de administración de AWS.

¿Hay una manera fácil de agarrar todo en uno de mis cubos? Estaba pensando en hacer pública la carpeta raíz, usar wget para capturar todo, y luego volver a hacerla privada, pero no sé si hay una manera más fácil.

Answer 1

AWS CLI

Documentación para AWS CLI

AWS ha lanzado recientemente sus herramientas de línea de comandos. Esto funciona de manera muy similar a boto y se puede instalar usando sudo easy_install awscli o sudo pip install awscli

Una vez instalado, puedes simplemente ejecutar:

Comando :

aws s3 sync s3://mybucket .

Salida :

download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt

Esto descargará todos tus archivos (sincronización unidireccional). No eliminará ningún archivo existente en su directorio actual (a menos que especifique --delete ), y no cambiará ni eliminará ningún archivo en S3.

También puede hacer S3 bucket a S3 bucket, o local a S3 bucket sync.

Echa un vistazo a la documentación y otros ejemplos:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Answer 2

1. El usuario de Windows debe descargar S3EXPLORER desde este enlace, que también tiene instrucciones de instalación: - http://s3browser.com/download.aspx

2. Luego, proporcione las credenciales de AWS como secretkey, accesskey y region al s3explorer, este enlace contiene instrucciones de configuración para s3explorer: Copie Pegar enlace en brower: s3browser.com/s3browser-first-run.aspx

3. Ahora todos sus cubos s3 serían visibles en el panel izquierdo de s3explorer.

4. Simplemente seleccione el cubo y haga clic en el menú Cubos en la esquina superior izquierda, luego seleccione Descargar todos los archivos en la opción del menú. A continuación se muestra la captura de pantalla de la misma:

Pantalla de selección de cubo

5. Luego navega por una carpeta para descargar el cubo en un lugar particular

6. Haga clic en Aceptar y su descarga comenzará.

Answer 3

Aquí hay algunas cosas para descargar todos los cubos, enumerarlos, enumerar sus contenidos.

    //connection string
    private static void dBConnection() {
    app.setAwsCredentials(CONST.getAccessKey(), CONST.getSecretKey());
    conn = new AmazonS3Client(app.getAwsCredentials());
    app.setListOfBuckets(conn.listBuckets());
    System.out.println(CONST.getConnectionSuccessfullMessage());
    }

    private static void downloadBucket() {

    do {
        for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
            app.setBucketKey(objectSummary.getKey());
            app.setBucketName(objectSummary.getBucketName());
            if(objectSummary.getKey().contains(CONST.getDesiredKey())){
                //DOWNLOAD
                try 
                {
                    s3Client = new AmazonS3Client(new ProfileCredentialsProvider());
                    s3Client.getObject(
                            new GetObjectRequest(app.getBucketName(),app.getBucketKey()),
                            new File(app.getDownloadedBucket())
                            );
                } catch (IOException e) {
                    e.printStackTrace();
                }

                do
                {
                     if(app.getBackUpExist() == true){
                        System.out.println("Converting back up file");
                        app.setCurrentPacsId(objectSummary.getKey());
                        passIn = app.getDataBaseFile();
                        CONVERT= new DataConversion(passIn);
                        System.out.println(CONST.getFileDownloadedMessage());
                    }
                }
                while(app.getObjectExist()==true);

                if(app.getObjectExist()== false)
                {
                    app.setNoObjectFound(true);
                }
            }
        }
        app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
    } 
    while (app.getS3Object().isTruncated());
}

/ ---------------------------- Métodos de extensión ------------------- ------------------ /

//Unzip bucket after download 
public static void unzipBucket() throws IOException {
    unzip = new UnZipBuckets();
    unzip.unZipIt(app.getDownloadedBucket());
    System.out.println(CONST.getFileUnzippedMessage());
}

//list all S3 buckets
public static void listAllBuckets(){
    for (Bucket bucket : app.getListOfBuckets()) {
        String bucketName = bucket.getName();
        System.out.println(bucketName + "/t" + StringUtils.fromDate(bucket.getCreationDate()));
    }
}

//Get the contents from the auto back up bucket
public static void listAllBucketContents(){     
    do {
        for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
            if(objectSummary.getKey().contains(CONST.getDesiredKey())){
                System.out.println(objectSummary.getKey() + "/t" + objectSummary.getSize() + "/t" + StringUtils.fromDate(objectSummary.getLastModified()));
                app.setBackUpCount(app.getBackUpCount() + 1);   
            }
        }
        app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
    } 
    while (app.getS3Object().isTruncated());
    System.out.println("There are a total of : " + app.getBackUpCount() + " buckets.");
}

}

Answer 4

Básicamente tienes muchas opciones para hacer eso, pero la mejor es usar AWS CLI

Aquí hay un tutorial

• Paso 1

Descargue e instale AWS CLI en su máquina

Instale la CLI de AWS utilizando el instalador MSI (Windows)

Instale la CLI de AWS utilizando el instalador incluido (Linux, OS X o Unix)

• Paso 2

Configurar AWS CLI

Asegúrese de ingresar la clave de acceso válida y la clave secreta que recibió cuando creó la cuenta

• Paso 3

Sync s3 bucket con el siguiente comando

aws s3 sync s3://yourbucket /local/path

Reemplace el comando anterior con los siguientes datos

yourbucket >> su cubeta s3 que desea descargar

/ local / ruta >> ruta en su sistema local donde desea descargar todos los archivos

¡Espero que esto ayude!

Answer 5

Como Neel Bhaat ha explicado en este blog , hay muchas herramientas diferentes que se pueden usar para este propósito. Algunos son proporcionados por AWS, donde la mayoría son herramientas de terceros. Todas estas herramientas requieren que guarde su clave de cuenta de AWS y su secreto en la propia herramienta. Sea muy cauteloso al usar herramientas de terceros, ya que las credenciales que guarda pueden costarle a usted, su valor total y dejarlo muerto.

Por lo tanto, siempre recomiendo usar el CLI de AWS para este propósito. Simplemente puede instalar esto desde este enlace . A continuación, ejecute el siguiente comando y guarde su clave, valores secretos en AWS CLI.

aws configure

Y use el siguiente comando para sincronizar su AWS S3 Bucket con su máquina local. (La máquina local debe tener AWS CLI instalado)

aws s3 sync <source> <destination>

Ejemplos:

1) Para AWS S3 para almacenamiento local

aws s3 sync <S3Uri> <LocalPath>

2) De almacenamiento local a AWS S3

aws s3 sync <LocalPath> <S3Uri>

3) Del cubo AWS s3 a otro cubo

aws s3 sync <S3Uri> <S3Uri> 

Answer 6

Como dijo @layke, es la mejor práctica descargar el archivo desde el cli de S3, es seguro. Pero en algunos casos, la gente necesita usar wget para descargar el archivo y aquí está la solución

aws s3 presign s3://<your_bucket_name/>

Esta presignación le proporcionará una URL pública temporal que puede usar para descargar contenido de S3 usando presign_url, en su caso usando wget o cualquier otro cliente de descarga.

Answer 7

Cuando estoy en Windows, mi herramienta GUI preferida para esto es Cloudberry Explorer para S3., http://www.cloudberrylab.com/free-amazon-s3-explorer-cloudfront-IAM.aspx . Tiene un explorador de archivos bastante pulido, interfaz ftp-like.

Answer 8

He hecho un poco de desarrollo para s3 y no he encontrado una forma sencilla de descargar un contenedor completo. Si desea codificar en Java, la jets3t lib es fácil de usar para crear una lista de cubos e iterar sobre esa lista para descargarlos.

http://jets3t.s3.amazonaws.com/downloads.html

primero obtenga un conjunto de claves privadas públicas de la consola de administración de AWS para que pueda crear un objeto de servicio S3 ...

AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);

a continuación, obtener una matriz de sus objetos cubos ...

S3Object[] objects = s3Service.listObjects(YourBucketNameString);

finalmente, itere sobre esa matriz para descargar los objetos uno a la vez con este código ...

S3Object obj = s3Service.getObject(bucket, fileName);
            file = obj.getDataInputStream();

Puse el código de conexión en un singleton threadsafe. La sintaxis necesaria de try / catch se ha omitido por razones obvias.

Si prefieres codificar en Python, podrías usar Boto en su lugar.

PD después de mirar alrededor de BucketExplorer, haga lo que quiera. https://forums.aws.amazon.com/thread.jspa?messageID=248429

Answer 9

He utilizado algunos métodos diferentes para copiar datos de Amazon S3 en una máquina local, incluido s3cmd, y por mucho el más fácil es Cyberduck . Todo lo que necesita hacer es ingresar sus credenciales de Amazon y usar la interfaz simple para descargar / cargar / sincronizar cualquiera de sus grupos / carpetas / archivos.

Answer 10

La respuesta de @Layke es buena, pero si tiene un montón de datos y no quiere esperar para siempre, debe prestar mucha atención a esta documentación sobre cómo obtener el comando AWS S3 CLI sync para sincronizar cubos con una paralelización masiva . Los siguientes comandos le dirán a AWS CLI que use 1,000 subprocesos para ejecutar trabajos (cada uno es un archivo pequeño o una parte de una copia de varias partes) y mira hacia adelante 100,000 trabajos:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

Después de ejecutar estos, puede usar el comando de sincronización simple de la siguiente manera:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

o

aws s3 sync s3://source-bucket/source-path c:/my/local/data/path

En un sistema con CPU de 4 núcleos y 16 GB de RAM, para casos como el mío (archivos de 3 a 50 GB), la velocidad de sincronización / copia pasó de aproximadamente 9,5MiB / s a ​​700 + MiB / s, un aumento de velocidad de 70x respecto a la configuración predeterminada.

Answer 11

Mi comentario realmente no agrega una nueva solución. Como mucha gente dijo aquí, aws s3 sync es lo mejor. Pero nadie señaló una opción poderosa: dryrun . Esta opción le permite ver lo que se descargaría / cargaría de / a s3 cuando esté usando la sync . Esto es realmente útil cuando no desea sobrescribir el contenido en su contenedor local o s3. Así es como se usa:

aws s3 sync <source> <destination> --dryrun

Lo usé todo el tiempo antes de insertar contenido nuevo en un grupo para no cargar cambios no deseados.

Answer 12

Otra opción que podría ayudar a algunos usuarios de osx , es transmitir . Es un programa ftp que también te permite conectarte a tus archivos s3. Y tiene una opción para montar cualquier almacenamiento ftp o s3 como carpeta en el buscador. Pero es solo por un tiempo limitado.

Answer 13

Puedes hacer esto con https://github.com/minio/mc :

mc cp -r https://s3-us-west-2.amazonaws.com/bucketName/ localdir

mc también admite sesiones, descargas reanudables, subidas y mucho más. mc compatible con los sistemas operativos Linux, OS X y Windows. Escrito en Golang y publicado bajo la versión 2.0 de Apache.

Answer 14

Puedes simplemente obtenerlo con el comando s3cmd :

s3cmd get --recursive --continue s3://test-bucket local-directory/

Answer 15

Puedes usar s3cmd para descargar tu cubo.

s3cmd --configure
s3cmd sync s3://bucketnamehere/folder /destination/folder

Actualizar

Hay otra herramienta que puedes usar llamada Rclone . A continuación se muestra un ejemplo de código en la documentación de Rclone.

rclone sync /home/local/directory remote:bucket

Answer 16

S3 Browser es la forma más fácil que he encontrado. Es un excelente software ... y es gratis para uso no comercial. Sólo Windows.

http://s3browser.com/

Answer 17

Si solo desea descargar el paquete desde AWS, primero instale AWS CLI en su máquina. En la terminal, cambie el directorio al que desea descargar los archivos y ejecute este comando.

aws s3 sync s3://bucket-name .

Si también desea sincronizar los directorios local y s3 ​​(en caso de que haya agregado algunos archivos en la carpeta local), ejecute este comando:

aws s3 sync . s3://bucket-name

Answer 18

Si solo tiene archivos allí (no subdirectorios), una solución rápida es seleccionar todos los archivos ( click en el primero, Shift+click en el último) y right click Enter o right click y seleccione Open . Para la mayoría de los archivos de datos, esto los descargará directamente a su computadora.

Answer 19

Si usa Firefox con S3Fox, eso le permite seleccionar todos los archivos (shift-select first y last) y hacer clic derecho y descargar todos ... Lo he hecho con más de 500 archivos sin problema

Answer 20

Si usa Visual Studio, descargue http://aws.amazon.com/visualstudio/

Una vez instalado, vaya a Visual Studio - AWS Explorer - S3 - Su cubo - Haga doble clic

En la ventana podrás seleccionar todos los archivos. Haga clic derecho y descargar archivos.

Answer 21

Utilice este comando con la CLI de AWS :

aws s3 cp s3://bucketname. --recursive

Answer 22

aws sync es la solución perfecta. No lo hace de dos maneras ... es de una manera desde la fuente hasta el destino. Además, si tiene muchos elementos en el depósito, será una buena idea crear primero el punto final s3 para que la descarga se realice más rápido (ya que la descarga no se realiza a través de Internet sino a través de la intranet) y no tiene cargos.

Answer 23

Para descargar utilizando AWS S3 CLI:

aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive

Para descargar usando el código, use AWS SDK .

Para descargar utilizando GUI, use Cyberduck .

Espero eso ayude.. :)