secret iam aws age hadoop amazon-web-services amazon-s3 mapreduce hadoop2

hadoop - age - iam console aws



Cómo especificar la clave de acceso de AWS y la clave de acceso secreta como parte de una URL de amazon s3n (3)

La documentación tiene el formato: http://wiki.apache.org/hadoop/AmazonS3

s3n://ID:SECRET@BUCKET/Path

Estoy pasando las carpetas de entrada y salida como parámetros para mapear el programa de conteo de palabras de la página web.

Obteniendo error por debajo:

HTTP Status 500 - Falló el procesamiento de la solicitud; la excepción anidada es java.lang.IllegalArgumentException: la clave de acceso AWS y la clave de acceso secreta deben especificarse como el nombre de usuario o la contraseña (respectivamente) de una URL s3n, o configurando las propiedades de fs.s3n.awsAccessKeyId o fs.s3n.awsSecretAccessKey ( respectivamente).


Por lo general, no se recomienda transferir las credenciales de AWS como parte de la URL de Amazon s3n, en términos de seguridad. Especialmente si ese código se envía a un servicio de retención de repositorio (como github). Idealmente establezca sus credenciales en conf / core-site.xml como:

<configuration> <property> <name>fs.s3n.awsAccessKeyId</name> <value>XXXXXX</value> </property> <property> <name>fs.s3n.awsSecretAccessKey</name> <value>XXXXXX</value> </property> </configuration>

o reinstale awscli en su máquina.

pip install awscli


Te sugiero que uses esto:

hadoop distcp / -Dfs.s3n.awsAccessKeyId=<your_access_id> / -Dfs.s3n.awsSecretAccessKey=<your_access_key> / s3n://origin hdfs://destinations

También funciona como una solución para la aparición de barras diagonales en la clave. Los parámetros con la clave de identificación y acceso deben suministrarse exactamente en este orden: después de disctcp y antes del origen