hadoop - age - iam console aws

Cómo especificar la clave de acceso de AWS y la clave de acceso secreta como parte de una URL de amazon s3n

Question

Estoy pasando las carpetas de entrada y salida como parámetros para mapear el programa de conteo de palabras de la página web.

Obteniendo error por debajo:

HTTP Status 500 - Falló el procesamiento de la solicitud; la excepción anidada es java.lang.IllegalArgumentException: la clave de acceso AWS y la clave de acceso secreta deben especificarse como el nombre de usuario o la contraseña (respectivamente) de una URL s3n, o configurando las propiedades de fs.s3n.awsAccessKeyId o fs.s3n.awsSecretAccessKey ( respectivamente).

Answer 1

La documentación tiene el formato: http://wiki.apache.org/hadoop/AmazonS3

 s3n://ID:SECRET@BUCKET/Path

Answer 2

Por lo general, no se recomienda transferir las credenciales de AWS como parte de la URL de Amazon s3n, en términos de seguridad. Especialmente si ese código se envía a un servicio de retención de repositorio (como github). Idealmente establezca sus credenciales en conf / core-site.xml como:

<configuration>
<property>
<name>fs.s3n.awsAccessKeyId</name>
<value>XXXXXX</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>XXXXXX</value>
</property>
</configuration>

o reinstale awscli en su máquina.

pip install awscli

Answer 3

Te sugiero que uses esto:

hadoop distcp /
-Dfs.s3n.awsAccessKeyId=<your_access_id> /
-Dfs.s3n.awsSecretAccessKey=<your_access_key> /
s3n://origin hdfs://destinations

También funciona como una solución para la aparición de barras diagonales en la clave. Los parámetros con la clave de identificación y acceso deben suministrarse exactamente en este orden: después de disctcp y antes del origen