可以将内容从 Google 云端硬盘自动上传到云存储吗?

It's possible to upload content to Cloud Storage automatically from Google Drive?

我需要从 Google 驱动器自动加载 CSV 文件到 BigQuery,我想知道是否可以这样做:

  1. Google 驱动器文件夹
  2. Pub/Sub、云函数、DriveApi...??
  3. 云存储桶
  4. 大查询

我开发了一个 python 脚本,可以将存储在 Cloud Storage 中的 CSV 文件自动上传到 BigQuery,现在我需要在 Google Drive 和 Cloud Storage 之间创建工作流。

我一直在研究,但真的不知道如何进行。

有什么提示吗?

尝试使用 Google 驱动器 API 从 google 驱动器中提取数据并将其加载到您想要的任何位置,即 GCS、BQ table 等等. 您可以参考以下 example 创建代码来实现相同的目的。

您将需要开发一个应用程序来侦听更改,Google App Engine 或 Cloud Functions 在这里运行良好。

该应用需要实施对您的用例有意义的检索更改逻辑。

查看这些 Google 驱动器 API 文档 https://developers.google.com/drive/api/v3/manage-changes

对于云端硬盘,我建议询问 OAuth 是否值得对任何应用程序使用。要求您的用户提交到轻量级前端可能会更容易且开发速度更快。

您将需要开发一个应用程序来侦听更改,Google App Engine 或 Cloud Functions 在这里运行良好。

该应用需要实施对您的用例有意义的检索更改逻辑。

查看这些 Google 驱动器 API 文档 https://developers.google.com/drive/api/v3/manage-changes

对于云端硬盘,我建议询问 OAuth 是否值得对任何应用程序使用。要求您的用户提交到轻量级前端可能会更容易且开发速度更快。