将 CSV 从 GCS 批量加载到 BigQuery 时,table 数据是否可以增量查看,还是仅在加载所有文件后才能查看?

When batch loading CSVs from GCS to BigQuery, is the table data viewable incrementally, or only once all files are loaded?

我正在寻找使用通配符将 CSV 数据从 Google 云存储加载到 BigQuery table(参见 docs) as a batch (see docs),并且想知道是否:

  1. table 中的数据只有在 所有 CSV 加载后才可用(即文件在之前以某种方式整理 正在加载到 BigQuery)
  2. table 中的数据将增量更新 每个加载的 CSV(即每个 CSV 作为单独的作业单独加载)

对于某些上下文,我正在尝试确定如果用户在作业加载批次之前访问 table 是否有可能查看不完整的 table 数据CSV 已完成。

之前有人问过类似的问题,但我没有足够的声誉来发表评论:'(

感谢您的帮助!

作业完成后即可查看数据,因此在摄取所有文件之后。

确实,当您定义作业时,您可以指定 WriteTruncate 处置。这意味着所有当前数据都将被新数据替换。如果作业失败,则当前数据保持不变。在增量加载的情况下,这种行为是不可能的。

如果你想建议增量加载,你可以使用一个效率不高的过程:使用数据流读取文件并将内容流式传输到 BigQuery 中。这次,用户将可以通过请求查看增量数据(不能使用控制台中的预览功能,因为流式数据会在 BigQuery 的缓冲区中停留一段时间(最多 90 分钟))