python - library - ¿Cómo establecer dependencias entre DAGs en Airflow?
airflow etl best practices (2)
Estoy utilizando Airflow para programar trabajos por lotes. Tengo un DAG (A) que se ejecuta todas las noches y otro DAG (B) que se ejecuta una vez al mes. B depende de que A haya completado con éxito. Sin embargo, B tarda mucho tiempo en ejecutarse y, por lo tanto, me gustaría guardarlo en un DAG separado para permitir un mejor informe de SLA.
¿Cómo puedo hacer que la ejecución de DAG B dependa de una ejecución exitosa de DAG A el mismo día?
Parece que TriggerDagRunOperator se puede usar un TriggerDagRunOperator , y puedes usar un Python que se puede llamar para agregar algo de lógica. Como se explica aquí: https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand
Puede lograr este comportamiento utilizando un operador llamado ExternalTaskSensor. Su tarea (B1) en DAG (B) se programará y esperará el éxito en la tarea (A2) en DAG (A)