在无需本地访问 API 的情况下自动执行 BigQuery 查询 Google
Automating Google BigQuery query without local access to APIs
我正在尝试每周自动 运行 一个 bigquery 查询并将数据保存到我的计算机上。
理想情况下，这将通过 API 完成，但由于工作中的代理和防火墙问题，我无法在我的计算机上访问 API。
我还有其他选择吗？我已经尝试研究 Google Compute Engine，但我不太确定这是否对我有帮助
还需要从 BigQuery 获取数据，通过 WebUI 的标准 GAP 报告是不够的。每周查询将产生约 2,000,000 行数据
您可能知道，BigQuery 本身不提供任何调度机制。
您应该使用第 3 方解决方案或开发自己的解决方案。
例如，您可以使用 App Engine Cron 服务自动执行 BQ 查询并将结果导出到 GCS。
https://cloud.google.com/appengine/docs/java/config/cron
https://cloud.google.com/appengine/features/#cron
https://cloud.google.com/bigquery/bigquery-api-quickstart
要将结果从 GCS 传输到本地计算机，您仍然需要对云进行某种访问并使用相应的工具（参见下面的 link）
https://cloud.google.com/storage/docs/gsutil
我正在尝试每周自动 运行 一个 bigquery 查询并将数据保存到我的计算机上。
理想情况下，这将通过 API 完成，但由于工作中的代理和防火墙问题，我无法在我的计算机上访问 API。
我还有其他选择吗？我已经尝试研究 Google Compute Engine，但我不太确定这是否对我有帮助
还需要从 BigQuery 获取数据，通过 WebUI 的标准 GAP 报告是不够的。每周查询将产生约 2,000,000 行数据
您可能知道，BigQuery 本身不提供任何调度机制。
您应该使用第 3 方解决方案或开发自己的解决方案。
例如，您可以使用 App Engine Cron 服务自动执行 BQ 查询并将结果导出到 GCS。
https://cloud.google.com/appengine/docs/java/config/cron
https://cloud.google.com/appengine/features/#cron
https://cloud.google.com/bigquery/bigquery-api-quickstart
要将结果从 GCS 传输到本地计算机，您仍然需要对云进行某种访问并使用相应的工具（参见下面的 link）
https://cloud.google.com/storage/docs/gsutil