Airflow 1.10.1 在哪里存储它的三个服务的日志,即 webserver、scheduler 和 worker
where does Airflow 1.10.1 store logs for it's three services namely webserver, scheduler and worker
我们最近从 1.8 升级到 Airflow 1.10.1,我们观察到 Airflow 服务不再写入日志 /var/log/airflow
我们正在使用自定义命令 运行 airflow 服务,甚至这些命令也不会写入命令中指定的日志文件:-
nohup airflow scheduler -sd /usr/airflow/DAGS --stdout /dev/null --stderr scheduler_error.log > /dev/null 2>nohup_error.log &
nohup airflow webserver -p 8080 --stdout /dev/null --stderr /usr/airflow/airflow_webserver_error.log --error_logfile -> /dev/null 2>/usr/airflow/nohup_airflow_webserver.log &
scheduler_error.log 和 airflow_webserver_error.log 个文件仍为空。
airflow 中的服务日志记录机制是否损坏?
感谢您的帮助。
你检查过$AIRFLOW_HOME/logs/了吗?
注意:这不是真正的答案,而只是我对 Airflow
的有限经验的说明
最近我也被登录Airflow
(v1.10.2
)的谜团折磨着。根据我的使用经验(LocalExecutor
),这是我所知道的(如有错误请指正)
网络服务器日志:我从未发现任何目录/文件明确标题为 "webserver_logs"(或其他名称相似的)。当然,当您调用 airflow webserver
命令时,您会在 (Linux
) shell 上得到一些东西。然而,由于 DAG
的解析目前由 webserver
process 完成(默认情况下检出 this thread and AIP-12), those logs can be found at base_log_folder/scheduler/date/path/to/your_file.py.log
(surprise, it is in "scheduler"
folder). As already pointed out by @Chirrut Imwe base_log_folder
points to AIRFLOW_HOME/logs
调度程序日志:我不知道他们的下落,除了我在 shell 上看到的行,当我使用 [=22] 启动它时=]命令
任务日志:这些位于base_log_folder/dag_id/task_id/date_time/1.log
。当然,您可以使用 View Log
按钮直接看到它们 on the WebUI(点击您 task
的 气泡 后)
工人日志:因为我在LocalExecutor
,所以从来没有遇到过这个。但是您可以尝试从 puckel/docker-airflow
获得提示,他们也提供 CeleryExecutor
UPDATING.md
页面有大量关于日志记录的内容
我们最近从 1.8 升级到 Airflow 1.10.1,我们观察到 Airflow 服务不再写入日志 /var/log/airflow
我们正在使用自定义命令 运行 airflow 服务,甚至这些命令也不会写入命令中指定的日志文件:-
nohup airflow scheduler -sd /usr/airflow/DAGS --stdout /dev/null --stderr scheduler_error.log > /dev/null 2>nohup_error.log &
nohup airflow webserver -p 8080 --stdout /dev/null --stderr /usr/airflow/airflow_webserver_error.log --error_logfile -> /dev/null 2>/usr/airflow/nohup_airflow_webserver.log &
scheduler_error.log 和 airflow_webserver_error.log 个文件仍为空。
airflow 中的服务日志记录机制是否损坏?
感谢您的帮助。
你检查过$AIRFLOW_HOME/logs/了吗?
注意:这不是真正的答案,而只是我对 Airflow
最近我也被登录Airflow
(v1.10.2
)的谜团折磨着。根据我的使用经验(LocalExecutor
),这是我所知道的(如有错误请指正)
网络服务器日志:我从未发现任何目录/文件明确标题为 "webserver_logs"(或其他名称相似的)。当然,当您调用
airflow webserver
命令时,您会在 (Linux
) shell 上得到一些东西。然而,由于DAG
的解析目前由webserver
process 完成(默认情况下检出 this thread and AIP-12), those logs can be found atbase_log_folder/scheduler/date/path/to/your_file.py.log
(surprise, it is in"scheduler"
folder). As already pointed out by @Chirrut Imwebase_log_folder
points toAIRFLOW_HOME/logs
调度程序日志:我不知道他们的下落,除了我在 shell 上看到的行,当我使用 [=22] 启动它时=]命令
任务日志:这些位于
base_log_folder/dag_id/task_id/date_time/1.log
。当然,您可以使用View Log
按钮直接看到它们 on the WebUI(点击您task
的 气泡 后)工人日志:因为我在
LocalExecutor
,所以从来没有遇到过这个。但是您可以尝试从puckel/docker-airflow
获得提示,他们也提供CeleryExecutor
UPDATING.md
页面有大量关于日志记录的内容