如何从带有 DATE 列的 BigQuery table 导出 AVRO 文件并将其再次加载到 BigQuery

Question

为了从位于美国的 BigQuery (BQ) table 移动数据，我想将 table 导出到美国的 Cloud Storage (GCS) 存储桶，将其复制到一个 EU 存储桶，然后从那里再次导入它。

问题是 AVRO 不支持 DATE 类型，但这对我们来说至关重要，因为我们正在使用新的 partitioning feature，它不依赖于摄取时间，而是table本身。

AVRO 文件包含 DATE 列作为 STRING，因此包含 Field date has changed type from DATE to STRING 尝试通过 bq load.

加载文件时抛出错误

有一个 ，但它是关于时间戳的 - 在我的例子中它绝对需要是一个 DATE 因为日期不携带时区信息并且时间戳总是以 UTC 解释由 BQ.

它在使用 NEWLINE_DELIMITED_JSON 时有效，但是否可以使它与 AVRO 文件一起使用？

Answer 1

正如@ElliottBrossard 在评论中指出的那样，有一个 public 功能请求可以注册白名单。