Airflow 1.10.1 在哪里存储它的三个服务的日志,即 webserver、scheduler 和 worker

where does Airflow 1.10.1 store logs for it's three services namely webserver, scheduler and worker

我们最近从 1.8 升级到 Airflow 1.10.1,我们观察到 Airflow 服务不再写入日志 /var/log/airflow

我们正在使用自定义命令 运行 airflow 服务,甚至这些命令也不会写入命令中指定的日志文件:-

nohup airflow scheduler -sd /usr/airflow/DAGS --stdout /dev/null --stderr scheduler_error.log > /dev/null 2>nohup_error.log &

nohup airflow webserver -p 8080 --stdout /dev/null --stderr /usr/airflow/airflow_webserver_error.log --error_logfile -> /dev/null 2>/usr/airflow/nohup_airflow_webserver.log &

scheduler_error.log 和 airflow_webserver_error.log 个文件仍为空。

airflow 中的服务日志记录机制是否损坏?

感谢您的帮助。

你检查过$AIRFLOW_HOME/logs/了吗?

注意:这不是真正的答案,而只是我对 Airflow

的有限经验的说明

最近我也被登录Airflow(v1.10.2)的谜团折磨着。根据我的使用经验(LocalExecutor),这是我所知道的(如有错误请指正)

  • 网络服务器日志:我从未发现任何目录/文件明确标题为 "webserver_logs"(或其他名称相似的)。当然,当您调用 airflow webserver 命令时,您会在 (Linux) shell 上得到一些东西。然而,由于 DAG 的解析目前由 webserver process 完成(默认情况下检出 this thread and AIP-12), those logs can be found at base_log_folder/scheduler/date/path/to/your_file.py.log (surprise, it is in "scheduler" folder). As already pointed out by @Chirrut Imwe base_log_folder points to AIRFLOW_HOME/logs

  • 调度程序日志:我不知道他们的下落,除了我在 shell 上看到的行,当我使用 [=22] 启动它时=]命令

  • 任务日志:这些位于base_log_folder/dag_id/task_id/date_time/1.log。当然,您可以使用 View Log 按钮直接看到它们 on the WebUI(点击您 task 气泡 后)

  • 工人日志:因为我在LocalExecutor,所以从来没有遇到过这个。但是您可以尝试从 puckel/docker-airflow 获得提示,他们也提供 CeleryExecutor


UPDATING.md 页面有大量关于日志记录的内容