hadoop - example - mapreduce hdfs

La aplicación falló 2 veces debido a AM Container: salió con exitCode: 1

Question

Ejecuté un trabajo de reducción de mapas en hadoop-2.7.0 pero el trabajo de mapreduce no se puede iniciar y me enfrenté con el siguiente error:

Job job_1491779488590_0002 failed with state FAILED due to: Application application_1491779488590_0002 failed 2 times due to AM Container for appattempt_1491779488590_0002_000002 exited with exitCode: 1
For more detailed output, check application tracking page:http://erfan:8088/cluster/app/application_1491779488590_0002Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1491779488590_0002_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
at org.apache.hadoop.util.Shell.run(Shell.java:456)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Container exited with a non-zero exit code 1
Failing this attempt. Failing the application.
17/04/10 13:40:08 INFO mapreduce.Job: Counters: 0

¿Cuál es la razón de este error y cómo puedo resolver este problema?

cualquier ayuda apreciada.

Answer 1

Puede ver los registros de la aplicación para el problema real.

Para esto puede abrir la interfaz web namenode en namenode_ip: 50070
Aquí puede ver la opción de navegación, haga clic en ella.
En el submenú, selecciona registros.
Ahora seleccione los registros de usuario.

Aquí puede ver la lista de aplicaciones que ejecutó.

Abra el enlace application_1491779488590_0002 para su trabajo mencionado anteriormente. Puede ver los registros de cada mapa y reducir la tarea. Abrir mapa / reducir enlace de registro de trabajo.

Dentro de él puede ver: sys, error, archivos stdout. A partir de estos archivos de registro, puede obtener el error real y solucionarlo.

O puede ver estos registros en $ HADOOP_HOME / logs / userlogs / application_id path.

La aplicación falló 2 veces porque si el maestro de aplicaciones falló por alguna razón, de forma predeterminada intentará ejecutar la aplicación una vez más. La propiedad Reintentar AM se puede establecer en 1 para evitar esto.