设计建议从 Airflow 调用 Cloud Build 以执行带参数的 python 函数

Question

我正在寻求一些设计建议和任何使用 Cloud Build 执行带参数的 python 函数的示例。

我有一个在 GCP 上使用 Airflow 的数据管道。某些文件在加载到 BigQuery 之前需要清理。我有一个 Python 函数可以完成这项工作。 我想要的是 运行 在 Cloud Build 图像上运行并从我的管道传递函数参数。

到目前为止，我有一个安装的 Cloud Build 触发器，运行 是一个没有参数的简单 Python 函数。

根据我的研究，我发现了两个选项，cloudbuild_v1 库和 Cloud Build Airflow 运算符。

我想就我应该使用哪个选项或是否应该考虑其他选项以及任何可用示例提出建议。

谢谢。

Answer 1

不只有一个正确或最佳选项，您应该使用其中的一个。这实际上取决于您的应用程序、您的偏好和必要条件等。我建议您更深入地了解它们并确认哪一个更适合您。如果我要说其中之一，我会说Cloud Build Airflow，因为它有更多可供学习和搜索的内容。

关于示例，您可以查看 here for the cloudbuild_v1 library and here or here Cloud Build Airflow。