hadoop - tutorial - ¿Cómo usar los trabajos de Hive con Azkaban?

hive login

Question

Me gustaría utilizar Azkaban para los trabajos de Hive periódicos, he revisado la documentación de Azkaban y parece que de manera predeterminada no es compatible con los trabajos de Hive, ¿sabes cómo puedo usar estos dos elementos juntos?

Creo que tendré que ejecutar Hive jobs como un "trabajo de comando" disponible en Azkaban, pero tal vez alguien lo haya resuelto.
Estuve usando Oozie por un tiempo, pero no satisfizo mis necesidades.

Gracias.

Answer 1

En este momento no tenemos una manera fácil. Sin duda, puede hackear HiveCliDriver y hacerlo desde allí, pero no es óptimo ... Alternativamente, simplemente ejecútelo como un trabajo de línea de comando. Estamos usando un sistema diferente en LI. Espero agregar esta habilidad bastante rápido, pero no estoy seguro de cuándo tendré la oportunidad.

Answer 2

A partir de Azkaban 2.1, los trabajos de Hive son compatibles. Para más detalles, mira la documentación .