google 大查询 - 从缓冲区刷新数据(缓冲区中有 4 天的数据)

google big query - Flush data from buffer (4 days data on buffer)

我有一个 python 流数据到大查询的实现,它类似于文档中的示例,在每个任务中我得到一个 "Loaded 1 row into..." 但是当查询 table我每天只有 30-35 行(table 按天划分)但是我平均收到 25k 请求流式传输到 table 的数据。当查看 "get" api 调用时,它向我展示了 800 行蚂蚁缓冲区,但是这样花了 4 天,我在 table 中看不到 4 天前的数据.

调用 tabledata.insertAll 时是否为每一行提供重复数据删除 insertId?如果您对所有插入的行重复使用相同的 insertId,您将观察到与此类似的行为。