hadoop - age - iam console aws
Cómo especificar la clave de acceso de AWS y la clave de acceso secreta como parte de una URL de amazon s3n (3)
La documentación tiene el formato: http://wiki.apache.org/hadoop/AmazonS3
s3n://ID:SECRET@BUCKET/Path
Estoy pasando las carpetas de entrada y salida como parámetros para mapear el programa de conteo de palabras de la página web.
Obteniendo error por debajo:
HTTP Status 500 - Falló el procesamiento de la solicitud; la excepción anidada es java.lang.IllegalArgumentException: la clave de acceso AWS y la clave de acceso secreta deben especificarse como el nombre de usuario o la contraseña (respectivamente) de una URL s3n, o configurando las propiedades de fs.s3n.awsAccessKeyId o fs.s3n.awsSecretAccessKey ( respectivamente).
Por lo general, no se recomienda transferir las credenciales de AWS como parte de la URL de Amazon s3n, en términos de seguridad. Especialmente si ese código se envía a un servicio de retención de repositorio (como github). Idealmente establezca sus credenciales en conf / core-site.xml como:
<configuration>
<property>
<name>fs.s3n.awsAccessKeyId</name>
<value>XXXXXX</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>XXXXXX</value>
</property>
</configuration>
o reinstale awscli en su máquina.
pip install awscli
Te sugiero que uses esto:
hadoop distcp /
-Dfs.s3n.awsAccessKeyId=<your_access_id> /
-Dfs.s3n.awsSecretAccessKey=<your_access_key> /
s3n://origin hdfs://destinations
También funciona como una solución para la aparición de barras diagonales en la clave. Los parámetros con la clave de identificación y acceso deben suministrarse exactamente en este orden: después de disctcp y antes del origen