Airflow - GCP 运营商：GoogleCloudStorageToBigQueryOperator - 需要 15 分钟才能完成

Question

我正在使用 GoogleCloudStorageToBigQueryOperator 在 GCS 中使用 csv 文件在 BigQuery 中创建一个小的 table。我的本地计算机上的 VirtualBox 中有气流。每次，这个简单的操作都需要 15 分钟才能完成。我试过从 Local 更改为 Celery Executor，但仍然需要 15 分钟。请提出任何改进性能的建议？

非常感谢，

斯里

Answer 1

我在 GCP 上创建了一个 VM 并在其上安装了 airflow。将 DAG 移动到它上面，数据在几秒钟内加载完毕。