什么是 'google_cloud_storage_conn_id'？

Question

我正在使用 Airflow 的 GoogleCloudStorageDownloadOperator。但是我不明白什么是 google_cloud_storage_conn_id 以及在哪里可以找到它？非常感谢。

Answer 1

Airflow 允许您通过 Web 控制台将 Connection 对象存储在其数据库中。可以在 DAG 中引用这些连接，这样您就不会对凭据进行硬编码。

要使用 GoogleCloudStorageDownloadOperator，您首先要将凭据存储到 Airflow's Connections 界面中的 Google 云存储设置。

然后，要在 DAG 中使用 GoogleCloudStorageDownloadOperator，您只需向运算符传递 google_cloud_storage_conn_id:

some_task = GoogleCloudStorageDownloadOperator(
    ...
    google_cloud_storage_conn_id='my_google_cloud_storage',
    ...
)