hadoop - gun - oozie tutorial

Cola de trabajos para Hive action en oozie (1)

Tengo un flujo de trabajo oozie. Estoy enviando todas las acciones de la colmena con

<name>mapred.job.queue.name</name> <value>${queueName}</value>

Pero para pocas acciones de la colmena, el trabajo iniciado no está en la cola especificada; se invoca en la cola predeterminada.

Por favor sugiérame la causa detrás de este comportamiento y solución.

A. Características específicas de Oozie Oozie propaga las propiedades "normales" de Hadoop a una acción "regular" de MapReduce.

Pero para otros tipos de Acción (Shell, Hive, Java, etc.) donde Oozie ejecuta una sola tarea de Mapper en YARN, no considera que sea un trabajo real de MapReduce. Por lo tanto, utiliza un conjunto diferente de propiedades no documentadas siempre con el prefijo oozie.launcher. Mire esa publicación, por ejemplo.

Entonces, en su caso, la propiedad real para establecer sería oozie.launcher.mapred.job.queue.name

B. Detalles de TEZ Extracto de la documentación de HortonWorks :

Por ejemplo, en Hive puede usar la propiedad tez.queue.name en hive-site.xml para especificar la cola que se utilizará para los trabajos de Hive-on-Tez. Para asignar trabajos de Hive-on-Tez para usar la cola de "ingeniería", agregue la siguiente propiedad a hive-site.xml:

<property> <name>tez.queue.name</name> <value>engineering</value> </property>