BigQuery 是否支持模板表进行批量导入?

Are template tables supported in BigQuery for bulk import?

loading data into BigQuery: e.g. bulk import from GCS, streaming 和其他人有多个选项。

在很多情况下,需要对正在加载的数据进行分片,例如按日期或按任意键,以生成更小的 table 查询速度更快,或绕过每个 table 导入配额。

最近,引入了一项新功能,template tables,这使得这种分片对于流式传输非常容易:您只需指定要流式传输到的 table 名称的后缀,按-记录基础。

此 BigQuery 功能是否可用于其他导入模式,最重要的是用于从 GCS 导入?这对于以分片方式将大量数据导入 BigQuery 非常有用,这是一个常见的用例,例如将 Cloud Dataflow 用于批处理作业时。

否,目前无法批量导入模板 table;理由是,由于批量导入可以创建 tables 作为 side-effect,因此没有必要这样做。

对于流式导入,语义有点棘手。由于流式插入请求未指定架构,如果目标 table 不存在,BigQuery 不知道 table 的所需架构应该是什么。模板 table 允许流系统从其他地方查找所需的架构。

然而,对于批量加载,架构通常作为请求的一部分包含在内,或者可以从数据中推断出来,因此模板 table 没有多大意义。

综上所述,我们很清楚管理多个分片 table 很不方便,希望尽快做出一些改进。