javascript - node - deleteobjects s3

¿Cómo obtener respuesta de S3 getObject en Node.js?

Question

En un proyecto Node.js estoy intentando recuperar datos de S3.

Cuando uso getSignedURL , todo funciona:

aws.getSignedUrl(''getObject'', params, function(err, url){
    console.log(url); 
}); 

Mis params son:

var params = {
              Bucket: "test-aws-imagery", 
              Key: "TILES/Level4/A3_B3_C2/A5_B67_C59_Tiles.par"

Si llevo la salida de URL a la consola y la pego en un navegador web, descarga el archivo que necesito.

Sin embargo, si trato de usar getObject , obtengo todo tipo de comportamientos extraños. Creo que lo estoy usando incorrectamente. Esto es lo que he intentado:

aws.getObject(params, function(err, data){
    console.log(data); 
    console.log(err); 
}); 

Salidas:

{ 
  AcceptRanges: ''bytes'',
  LastModified: ''Wed, 06 Apr 2016 20:04:02 GMT'',
  ContentLength: ''1602862'',
  ETag: ''9826l1e5725fbd52l88ge3f5v0c123a4"'',
  ContentType: ''application/octet-stream'',
  Metadata: {},
  Body: <Buffer 01 00 00 00  ... > }

  null

Entonces parece que esto está funcionando correctamente. Sin embargo, cuando pongo un punto de interrupción en uno de los console.log s, mi IDE (NetBeans) arroja un error y se niega a mostrar el valor de los datos. Si bien esto podría ser el IDE, decidí probar otras formas de usar getObject .

aws.getObject(params).on(''httpData'', function(chunk){
    console.log(chunk); 
}).on(''httpDone'', function(data){
    console.log(data); 
});

Esto no genera nada. Poner un punto de interrupción en muestra que el código nunca llega a ninguno de los console.log s. También probé:

aws.getObject(params).on(''success'', function(data){
    console.log(data); 
});

Sin embargo, esto tampoco genera nada y colocar un punto de interrupción muestra que nunca se alcanza el console.log .

¿Qué estoy haciendo mal?

Answer 1

A primera vista, no parece que esté haciendo nada mal, pero no muestra todo su código. Lo siguiente funcionó para mí cuando estaba revisando S3 y Node por primera vez:

var AWS = require(''aws-sdk'');

if (typeof process.env.API_KEY == ''undefined'') {
    var config = require(''./config.json'');
    for (var key in config) {
        if (config.hasOwnProperty(key)) process.env[key] = config[key];
    }
}

var s3 = new AWS.S3({accessKeyId: process.env.AWS_ID, secretAccessKey:process.env.AWS_KEY});
var objectPath = process.env.AWS_S3_FOLDER +''/test.xml'';
s3.putObject({
    Bucket: process.env.AWS_S3_BUCKET, 
    Key: objectPath,
    Body: "<rss><data>hello Fred</data></rss>",
    ACL:''public-read''
}, function(err, data){
    if (err) console.log(err, err.stack); // an error occurred
    else {
        console.log(data);           // successful response
        s3.getObject({
            Bucket: process.env.AWS_S3_BUCKET, 
            Key: objectPath
        }, function(err, data){
            console.log(data.Body.toString());
        });
    }
});

Answer 2

Al hacer un getObject() desde la API S3, según los docs el contenido de su archivo se encuentra en la propiedad Body , que puede ver en su salida de muestra. Deberías tener un código que se parezca a lo siguiente

const aws = require(''aws-sdk'');
const s3 = new aws.S3(); // Pass in opts to S3 if necessary

var getParams = {
    Bucket: ''abc'', // your bucket name,
    Key: ''abc.txt'' // path to the object you''re looking for
}

s3.getObject(getParams, function(err, data) {
    // Handle any error and exit
    if (err)
        return err;

  // No error happened
  // Convert Body from a Buffer to a String

  let objectData = data.Body.toString(''utf-8''); // Use the encoding necessary
});

Es posible que no necesite crear un nuevo búfer a partir de los data.Body Objeto del data.Body pero si lo necesita, puede usar la muestra anterior para lograrlo.

Answer 3

Alternativamente, puede usar la biblioteca cliente minio-js get-object.js

var Minio = require(''minio'')

var s3Client = new Minio({
  endPoint: ''s3.amazonaws.com'',
  accessKey: ''YOUR-ACCESSKEYID'',
  secretKey: ''YOUR-SECRETACCESSKEY''
})

var size = 0
// Get a full object.
s3Client.getObject(''my-bucketname'', ''my-objectname'', function(e, dataStream) {
  if (e) {
    return console.log(e)
  }
  dataStream.on(''data'', function(chunk) {
    size += chunk.length
  })
  dataStream.on(''end'', function() {
    console.log("End. Total size = " + size)
  })
  dataStream.on(''error'', function(e) {
    console.log(e)
  })
})

Descargo de responsabilidad: trabajo para Minio Su fuente abierta, almacenamiento de objetos compatible con S3 escrito en golang con bibliotecas cliente disponibles en Java , Python , Js , golang .

Answer 4

Basado en la respuesta de @peteb, pero usando Promises y Async/Await :

const AWS = require(''aws-sdk'');

const s3 = new AWS.S3();

async function getObject (bucket, objectKey) {
  try {
    const params = {
      Bucket: bucket,
      Key: objectKey 
    }

    const data = await s3.getObject(params).promise();

    return data.Body.toString(''utf-8'');
  } catch (e) {
    throw new Error(`Could not retrieve file from S3: ${e.message}`)
  }
}

// To retrieve you need to use `await getObject()` or `getObject().then()`
getObject(''my-bucket'', ''path/to/the/object.txt'').then(...);