Bigquery Intraday table 覆盖进程

Bigquery Intraday table overwrite process

我想使用日内 tables,根据文档,它们大约被覆盖了。每天3次。

我想问的是只用新数据覆盖还是til时间数据覆盖。

示例:今天的盘中 table 是在世界标准时间上午 8 点创建的。 考虑到 id 是唯一的。

它有 id 的数据:1、2、3

当它被覆盖时,让我们说在 16 UTC 和新的 uds 4 和 5 到那时。

它会有数据:1、2、3、4、5 还是只有 3、4、5?

Bigquery docs for columns

fullVisitorId、hitnumber 和时间组合在所有行中是否都是唯一的?

是的,fullVisitorId、hitnumber 和时间组合在所有行中都是唯一的。

什么是日内(或实时)table秒?

日内 tables 表示当天的 Google 分析数据。它们每天附加三次,数据滞后约两个小时,并在将每日会话 table 提取到 BigQuery 时替换为新的 table。或者,实时 table 大约每 15 分钟附加一次。 table 都允许报告当天的分析数据。

我们如何使用日内 tables?

因为日内 tables 仅在新的每日 table 摄取到 BigQuery 时才会被覆盖,它们将继续追加,同时还会存储昨天会话的数据。我们可以通过将逻辑整合到我们的数据处理和报告工作流程中来解决昨天丢失的数据。如果每日 table 尚不可用,逻辑将执行数据处理查询以从日内 table 中提取数据。