快速 API + Apache Airflow Docker

Question

我想构建微服务，其中我将有两个 docker 容器 - Fast API 和 Apache Airflow。所以，我的问题是我如何能够从一些 Fast API 端点提交一些新的 DAG？我想应该是 Airflow CLI 吧？还是别的？

Answer 1

可以通过 REST API and CLI.

管理 Apache Airflow

但是，DAG 是 Python 文件，它们必须存储在 Airflow 可访问的文件系统中。无法通过 API.

提交 DAG 脚本

有多种部署 DAG 的方法。由于您使用的是容器，因此有两种选择：挂载一个用于写入 DAG 文件的卷，或者使用图像中内置的 DAG 脚本构建图像并重新部署 Airflow。