使用管道将分页添加到 dataflowjob 中的 Bigquery 查询
Adding Pagination to Bigquery query in dataflowjob using pipeline
我正在使用以下代码在数据流中执行 Bigquery 查询
p.apply(BigQueryIO.Read.fromQuery(getQuery()))
其中 'p' 是管道对象。
当我执行 returns 大量行的查询时,我的数据流作业出现错误 'Resources exceeded during query execution.'
有什么方法可以将分页添加到我的查询中吗?
提前致谢。
我更改了我的查询以删除 order by 子句,最后它对我有用
我正在使用以下代码在数据流中执行 Bigquery 查询
p.apply(BigQueryIO.Read.fromQuery(getQuery()))
其中 'p' 是管道对象。
当我执行 returns 大量行的查询时,我的数据流作业出现错误 'Resources exceeded during query execution.'
有什么方法可以将分页添加到我的查询中吗?
提前致谢。
我更改了我的查询以删除 order by 子句,最后它对我有用