Airflow 1.10.9 没有将日志写入 S3
Airflow 1.10.9 is not writing logs to S3
这里有没有人将 Airflow 日志发送到 S3
?
我是 运行 气流版本 1.10.9
,我正在尝试将我的日志发送到 S3
。我遵循了官方文档的说明 here 但它们似乎根本不起作用。
我也尝试重新启动 Airflow 调度程序和网络服务器。
如果有人做过,能告诉我他们是怎么做到的吗?
我为 S3 创建的连接:
Conn Id: S3Connection
Conn Type: S3
Schema: {"aws_access_key_id":"some-key", "aws_secret_access_key": "some-key"}
>All other fields were left blank.
我的 airflow.cfg
有这个:
remote_logging = True
remote_log_conn_id = S3Connection
remote_base_log_folder = s3://log-bucket/qa
encrypt_s3_logs = False
>Note that only log-bucket exists right now, the key I assume should be automatically created when something is uploaded there.
我也试过 & ,但对我也不起作用。
一个潜在的问题是,您输入到架构中的连接详细信息的 json 表示看起来可能实际上是连接字段/表单上的额外字段。
尝试相应地更新您的连接。
这里有没有人将 Airflow 日志发送到 S3
?
我是 运行 气流版本 1.10.9
,我正在尝试将我的日志发送到 S3
。我遵循了官方文档的说明 here 但它们似乎根本不起作用。
我也尝试重新启动 Airflow 调度程序和网络服务器。
如果有人做过,能告诉我他们是怎么做到的吗?
我为 S3 创建的连接:
Conn Id: S3Connection
Conn Type: S3
Schema: {"aws_access_key_id":"some-key", "aws_secret_access_key": "some-key"}
>All other fields were left blank.
我的 airflow.cfg
有这个:
remote_logging = True
remote_log_conn_id = S3Connection
remote_base_log_folder = s3://log-bucket/qa
encrypt_s3_logs = False
>Note that only log-bucket exists right now, the key I assume should be automatically created when something is uploaded there.
我也试过
一个潜在的问题是,您输入到架构中的连接详细信息的 json 表示看起来可能实际上是连接字段/表单上的额外字段。
尝试相应地更新您的连接。