python - español - Activar un DAG de flujo de aire desde la terminal no funciona

install airflow python

Question

Estoy tratando de usar el flujo de aire para definir un flujo de trabajo específico que deseo activar manualmente desde la línea de comandos.

Creo el DAG y agrego un montón de tareas.

dag = airflow.DAG(
    "DAG_NAME",
    start_date=datetime(2015, 1, 1),
    schedule_interval=None,
    default_args=args)

Entonces corro en la terminal

airflow trigger_dag DAG_NAME

y no pasa nada El planificador se está ejecutando en otro hilo. Cualquier dirección es muy apreciada. Gracias

Answer 1

Acabo de encontrar el mismo problema.

Asumiendo que puede ver su dag en airflow list_dags o a través del servidor web, entonces:

No solo tuve que activar el dag en la interfaz de usuario web, sino que también tuve que asegurarme de que el airflow scheduler funcionara como un proceso separado.

Una vez que tuve el programador en ejecución, pude ejecutar mi dag correctamente usando airflow trigger_dag <dag_id>

Mi configuración dag no es significativamente diferente de la tuya. También tengo schedule_interval=None

Answer 2

Es posible que haya deshabilitado el flujo de trabajo. Para habilitar el flujo de trabajo manualmente. Abre el servidor web de flujo de aire por

$ airflow webserver -p 8080

Vaya a http: // localhost: 8080 . Debería ver la lista de todos los dags disponibles con un botón de activación / desactivación. Por defecto, todo está desactivado. Busque su dag y alterne su flujo de trabajo. Ahora intente activar el flujo de trabajo desde la terminal. Debería funcionar ahora.

Answer 3

Usted debe "reanudar" el arrastre lo que desencadenar. use el airflow unpause xxx_drag y luego en el airflow trigger_dag xxx_drag y debería funcionar.

Answer 4

primero asegúrese de que la cadena de conexión de su base de datos en el flujo de aire esté funcionando, de modo que esté en postgres, sqlite (por defecto) o en cualquier otra base de datos. A continuación, ejecute el comando

 airflow initdb

Este comando no debe mostrar ningún error de conexión

En segundo lugar, asegúrese de que su servidor web se está ejecutando en un hilo separado

airflow webserver

A continuación, ejecute su schdeuler en un hilo diferente

airflow scheduler

Finalmente, active su dag en un hilo diferente después de que se ejecute el planificador

airflow trigger_dag dag_id

También asegúrese de que el nombre y la tarea de dag estén presentes en la lista de tareas y dag

airflow list_dags
airflow list_tasks dag_id

Y si el dag está apagado en su interfaz de usuario, enciéndalo.