如何在不使用 mysql 的情况下在气流中使用 CeleryExecutor

Question

我的后端是 redis，但是 airflow 包中提供的 airflow.cfg 文件只给出了使用 mysql 作为 CeleryExecutor 后端的示例。基本上不确定如何 set/replace airflow.cfg 中的以下 sql_alchemy_conn 用于 redis 后端。

sql_alchemy_conn = sqlite:////Users/myself/airflow/airflow.db

谷歌搜索失败。

任何示例 airflow.cfg 使用 redis 作为 CeleryExecutor 的后端？

Answer 1

"sql_alchemy_conn" 用于处理 DAG 运行等的元数据库。

我猜您想将以下内容设置为 Redis 作为 Celery 的后端

[core]
executor = CeleryExecutor
...
[celery]
broker_url = redis://BROKER_URL/...
celery_result_backend = redis://BROKER_URL/...

如何在不使用 mysql 的情况下在气流中使用 CeleryExecutor

How to use CeleryExecutor in airflow without using mysql

redis

celery

airflow