Oozie> Acción de Java> por qué la propiedad oozie.launcher.mapred.child.java.opts no funciona

hadoop mapreduce

Question

Estoy trabajando en Oozie con una acción de Java. La acción de Java debería usar la opción Java -Xmx15g. En consecuencia, establezco la propiedad oozie.mapreduce.map.memory.mb en 25600 (25G) en caso de que se necesite algo de memoria adicional.

Después de esta configuración simple, ejecuté el trabajo de Oozie, luego, por supuesto, hubo un error de OutofMemory (montón de espacio) durante el tiempo de ejecución de Java.

Así que establecí oozie.launcher.mapred.child.java.opts como -Xmx15g en consecuencia en el nodo de propiedad de la acción de Java basada en el enlace: http://downright-amazed.blogspot.fi/2012/02/configure-oozies -launcher-job.html . Pero todavía tengo el mismo error de OutofMemory. Luego traté de agregar -Xmx15g al nodo java-opts dentro del nodo de acción Java. Esto funcionó bien, pero si es así, ¿qué diablos sigue siendo la propiedad oozie.launcher.mapred.child.java.opts?

Alguien tiene alguna idea de por qué es así? Por favor, dado algunos comentarios sobre por qué es así. Gracias por adelantado.

Realmente siento que Oozie no es una herramienta útil.

Answer 1

No estoy seguro de qué significa "tarea" en mapred.child.java.opts

Pruebe mapreduce.map.java.opts en mapreduce.map.java.opts lugar, como en este ejemplo:

<configuration>
    <property>
      <name>oozie.launcher.mapreduce.map.memory.mb</name>
      <value>16384</value>
    </property>
    <property>
      <name>oozie.launcher.mapreduce.map.java.opts</name>
      <value>-Xmx15g</value>
    </property>
    <property>
      <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
      <value>768</value>
    </property>
    <property>
      <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
      <value>-Xmx512m</value>
    </property>
    <property>
      <name>oozie.launcher.mapred.job.queue.name</name>
      <value>default</value>
    </property>
</configuration>