Storage 和 BigQuery 之间的 GCP pipilene

Question

当数据添加到 GCP 存储桶时，我如何处理数据？我需要用我自己的 API 处理每个文件并将其添加到 BigQuery。我正在寻找一种在每次将数据添加到存储桶时触发端点的方法。

Answer 1

你可以使用一个函数Cloud Storage Trigger，具体来说就是事件类型finalize，这个事件在write或者overwrite 您的存储桶中的一个对象已成功完成。当执行这些操作之一时，该函数将被执行，并且您可以在其中执行您想要的操作，例如将数据发送到 BigQuery。

这是一个教程，您可以 implement and deploy your trigger。