BigQuery - 如何确定数据可用性
BigQuery - how to determine Data Availability
关于:https://cloud.google.com/bigquery/streaming-data-into-bigquery#dataavailability
以编程方式确定 table 的数据在流式传输后是否可用的最佳方法是什么?
我在尝试使用以下 API 获取 Rows 和 TotalRows 时收到意外结果:Jobs.Query、Jobs.GetQueryResults、Tables.Get、Tabledata.List
谢谢。
您可以通过执行 Tables.Get() API 并查看 streamingBuffer.oldestEntryTime 值来判断是否在 table 上刷新了数据。这可以被认为是已冲出缓冲区的数据的高水位线。
此时间戳之前的任何数据都应可用于复制、导出和列表操作。
此外,我应该澄清一下 table 中的数据在流式传输后立即可供查询。仅 table 复制、导出和 tabledata.list() 操作不可用。是的,这令人困惑,但是是的,我们也在努力解决这个问题。
对于之前或最近未流式传输到的 table,有一个预热期,新的流式传输数据不会显示。
有关详细信息,请参阅 https://cloud.google.com/bigquery/streaming-data-into-bigquery#dataavailability。
关于:https://cloud.google.com/bigquery/streaming-data-into-bigquery#dataavailability
以编程方式确定 table 的数据在流式传输后是否可用的最佳方法是什么?
我在尝试使用以下 API 获取 Rows 和 TotalRows 时收到意外结果:Jobs.Query、Jobs.GetQueryResults、Tables.Get、Tabledata.List
谢谢。
您可以通过执行 Tables.Get() API 并查看 streamingBuffer.oldestEntryTime 值来判断是否在 table 上刷新了数据。这可以被认为是已冲出缓冲区的数据的高水位线。
此时间戳之前的任何数据都应可用于复制、导出和列表操作。
此外,我应该澄清一下 table 中的数据在流式传输后立即可供查询。仅 table 复制、导出和 tabledata.list() 操作不可用。是的,这令人困惑,但是是的,我们也在努力解决这个问题。
对于之前或最近未流式传输到的 table,有一个预热期,新的流式传输数据不会显示。
有关详细信息,请参阅 https://cloud.google.com/bigquery/streaming-data-into-bigquery#dataavailability。