python - español - apache airflow wikipedia
Flujo de aire "Este DAG no está disponible en el objeto DagBag del servidor web" (3)
El problema es porque el DAG por defecto se coloca en el DagBag en estado de pausa para que el programador no se vea abrumado con mucha actividad de reposición en el inicio / reinicio.
Para evitar esto, cambie la configuración a continuación en su archivo airflow.cfg :
# Are DAGs paused by default at creation
dags_are_paused_at_creation = False
Espero que esto ayude. ¡Aclamaciones!
cuando coloco un nuevo script de DAG en Python en la carpeta dags, puedo ver una nueva entrada de DAG en la interfaz de usuario de DAG, pero no se habilitó automáticamente. Además de eso, parece que no se carga correctamente también. Solo puedo hacer clic en el botón Actualizar varias veces en el lado derecho de la lista y activar / desactivar el botón en el lado izquierdo de la lista para poder programar el DAG. Estos son procesos manuales ya que necesito activar algo aunque el Script DAG se colocó dentro de la carpeta dag.
Alguien me puede ayudar en esto ? ¿Me perdí algo? ¿O este es un comportamiento correcto en el flujo de aire?
Por cierto, como se menciona en el título de la publicación, hay un indicador con este mensaje "Este DAG no está disponible en el objeto DagBag del servidor web. Aparece en esta lista porque el programador lo marcó como activo en la base de datos de metdatos" etiquetado con el título DAG antes de activar todo este proceso manual.
No eres tú ni es el comportamiento correcto o esperado. Es un ''bug'' actual con Airflow. El servidor web almacena en caché el DagBag de una manera que realmente no se puede usar como se esperaba.
"El Attempt removing DagBag caching for the web server " permanece en el TODO oficial como parte de la hoja de ruta, lo que indica que es posible que este error aún no se haya resuelto por completo, pero aquí hay algunas sugerencias sobre cómo proceder:
Utilice solo constructores en el flujo de aire v1.9 +
Antes del flujo de aire v1.9, esto ocurre cuando un dag es instanciado por una función que se importa al archivo donde ocurre la instanciación. Es decir: cuando se utiliza un patrón de builder o de factory . Algunos informes de este problema en github 2 y JIRA 3 llevaron a una solución lanzada con el flujo de aire v1.9.
Si está utilizando una versión anterior del flujo de aire, no use las funciones del generador.
airflow backfill para recargar el caché.
Como sugiere Dmitri, la ejecución del airflow backfill ''<dag_id>'' -s ''<date>'' -e ''<date>'' para la misma fecha de inicio y final puede ayudar. A partir de entonces, puede terminar con la (no)-cuestión que Priyank señala, pero ese es el comportamiento esperado (estado: en pausa o no) según la configuración que tenga en su instalación.
Reinicie el airflow webserver resuelve mi problema.