将 google 个数据存储区和 BigQuery 数据连接在一起
Joining google datastore and bigquery data together
我需要生成一个记录集来支持 google bigquery 和数据存储数据的组合视图。记录集需要 returned 到应用引擎上的 flask webapp，将其格式化为报告形式。
从概念上讲，我想构建以下查询；
select bq.column1, bg.column2, bq.column3,
ds.column4, ds.column5, ds.column6
from bigquery bq join datastore ds on bq.uniquekey = ds.uniquekey
where bq.column10 in ('some list of filters')
bigquery 数据保存事务信息（并进行了分区和调整），而数据存储保存了维度数据的等价物。唯一键是数据存储中的 id 列
我可以使用 python 在 google 应用程序引擎中针对两个数据源构建查询。我试图避免编写具有新组合数据的新 table，而是提供关系的实时视图。
数据存储中大约有 25,000 个实体以每天 < 100 个实体的速度增长，而 biquery 中有超过 500 万个实体以每小时 10000 条记录的速度增长。我需要在 5 秒内 return 向用户报告。
有没有办法在不保存数据视图的情况下实时执行此操作？
无法直接执行此操作。相反，您可能想要做的是在 BigQuery 上进行查询，然后如果 ds.uniquekey 实际上是 Datastore 实体键，那么您可以从结果 return 中对每个 Datastore 实体进行查找BigQuery 查询。
我需要生成一个记录集来支持 google bigquery 和数据存储数据的组合视图。记录集需要 returned 到应用引擎上的 flask webapp，将其格式化为报告形式。
从概念上讲，我想构建以下查询；
select bq.column1, bg.column2, bq.column3,
ds.column4, ds.column5, ds.column6
from bigquery bq join datastore ds on bq.uniquekey = ds.uniquekey
where bq.column10 in ('some list of filters')
bigquery 数据保存事务信息（并进行了分区和调整），而数据存储保存了维度数据的等价物。唯一键是数据存储中的 id 列
我可以使用 python 在 google 应用程序引擎中针对两个数据源构建查询。我试图避免编写具有新组合数据的新 table，而是提供关系的实时视图。
数据存储中大约有 25,000 个实体以每天 < 100 个实体的速度增长，而 biquery 中有超过 500 万个实体以每小时 10000 条记录的速度增长。我需要在 5 秒内 return 向用户报告。
有没有办法在不保存数据视图的情况下实时执行此操作？
无法直接执行此操作。相反，您可能想要做的是在 BigQuery 上进行查询，然后如果 ds.uniquekey 实际上是 Datastore 实体键，那么您可以从结果 return 中对每个 Datastore 实体进行查找BigQuery 查询。