将 BigQuery 查询结果直接写入 GCS - 可能吗？

Question

我尝试了bq命令行工具，但似乎无法将结果直接写入GCS。我能看到的唯一方法是：

1. 查询 -> table -> 导出
2. 查询 -> 控制台 -> 本地 CSV 文件 -> 上传到 GCS

我正在寻找一种直接将结果写入 GCS 的方法。

Answer 1

您不能将查询结果直接写入 GCS。正如您已经指出的，最简单的方法是：

1. 将查询结果写入输出 table
2. 将您的 table 导出到 GCS

您可以在网络上轻松做到这一点 UI。

您还可以编写一个 Dataflow 管道，使用 BigQuery.IO.Read.fromQuery(<your_query>) 从 BigQuery 读取数据，并将结果直接写入 GCS。