向 Airflow 添加额外的芹菜配置

Question

任何人都知道我可以在哪里添加额外的芹菜配置到气流芹菜执行器？例如我想要 http://docs.celeryproject.org/en/latest/userguide/configuration.html#worker-pool-restarts 这个 属性 但是我如何允许额外的芹菜属性..

Answer 1

使用刚刚发布的 Airflow 1.9.0，现在可以配置了。

在airflow.cfg中有这一行：

# Import path for celery configuration options
celery_config_options = airflow.config_templates.default_celery.DEFAULT_CELERY_CONFIG

从导入路径指向一个 python 文件。当前默认版本可以是https://github.com/apache/incubator-airflow/blob/1.9.0/airflow/config_templates/default_celery.py

如果您需要一个无法通过该文件调整的设置，请创建一个新模块，比如 'my_celery_config.py':

CELERY_CONFIG = {
    # ....
}

并将其放入您的 AIRFLOW_HOME 目录（即 dags/ 文件夹旁边），然后在配置中设置 celery_config_options = my_celery_config.CELERY_CONFIG。