在气流中,有没有好的方法来调用另一个 dag 的任务?
In airflow, is there a good way to call another dag's task?
我有 dag_prime 和 dag_tertiary。
dag_prime
: 扫描一个目录,打算调用dag_tertiary
在每一个上。目前是 Python 操作员。
dag_tertiary
:扫描传递给它的目录并对其内容进行(可能是时间密集型的)计算。
我可以从 python 操作员的系统调用中调用第二个,但我觉得必须有更好的方法。如果有一种简单的方法,我还想考虑对 dag_tertiary 调用进行排队。有没有比使用系统调用更好的方法?
谢谢!
使用 airflow.operators.trigger_dagrun
从一个 DAG 调用另一个 DAG。
详情请见运算符trigger_dagrun Airflow documentation。
下面的 post 给出了使用此运算符的一个很好的示例:
https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand
我有 dag_prime 和 dag_tertiary。
dag_prime
: 扫描一个目录,打算调用dag_tertiary 在每一个上。目前是 Python 操作员。dag_tertiary
:扫描传递给它的目录并对其内容进行(可能是时间密集型的)计算。
我可以从 python 操作员的系统调用中调用第二个,但我觉得必须有更好的方法。如果有一种简单的方法,我还想考虑对 dag_tertiary 调用进行排队。有没有比使用系统调用更好的方法?
谢谢!
使用 airflow.operators.trigger_dagrun
从一个 DAG 调用另一个 DAG。
详情请见运算符trigger_dagrun Airflow documentation。
下面的 post 给出了使用此运算符的一个很好的示例: https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand