如何使用 BigQuery 仅从上传到云存储中的最后一个文件中查询数据

How do you query data from only the last file uploaded in cloud storage with BigQuery

每天我都会将新文件上传到云存储桶。文件存储为 JSON-NL 格式。我有一个连接到此存储桶的 BigQuery table(设置为外部 table)。每个文件都以上传日期命名。如果我只想查询最近的文件,到目前为止,我找到的最佳选择是解析 sql 查询中的 _FILE_NAME 并将其与当前日期匹配。但是解析有点乱,所以我想知道是否有其他更好的解决方案。

仅查询最新文件的其他选项有哪些?我应该进行不同的设置吗?

没有更好的解决方案。使用脚本解析 pseudo-column 和文件名,获取最新的一个然后查询它(立即执行)。目前没有其他解决方案