Bigquery:数据集中的大量表会影响性能吗?
Bigquery: Does huge amount of tables in a dataset impact performance?
我目前正在使用大查询来存储用户信息,以根据大量日志数据计算聚合结果。但是由于修改数据是不可能的。为了克服这个问题,我计划将每个用户记录存储在单独的 table 中。我知道 bigquery 支持从多个 table 查询,我可以使用它来获取所有信息。我在这里的疑问是
- 随着用户数量的增加,与将所有用户存储在单个 table 中相比,性能会下降。
- 如果有任何限制关于 biq 查询中每个数据集的 table 数量
提前致谢
据我所知 - 数据集中 table 的数量没有硬性限制。
同时 - 本机 BQ UI 限制显示数据集中的前 10,000 table 秒。
要考虑的另一个限制(仅需提及):
* 每日更新限制:每天 table 1,000 次更新;
* 查询(包括引用的视图)最多可以引用 1,000 table 且不能更多;
* 查询中每增加一个 table(成百上千 table)都会对性能产生相当大的影响。
* 即使每个 table 足够小 - 仍将以 10MB 的最低价格收费(即使只有几 KB)
不知道你的确切情况不允许提出一些建议,但至少你已经对你问题中的那些项目有了答案。
总的来说,每个用户 table 的想法对我来说并不好
我目前正在使用大查询来存储用户信息,以根据大量日志数据计算聚合结果。但是由于修改数据是不可能的。为了克服这个问题,我计划将每个用户记录存储在单独的 table 中。我知道 bigquery 支持从多个 table 查询,我可以使用它来获取所有信息。我在这里的疑问是
- 随着用户数量的增加,与将所有用户存储在单个 table 中相比,性能会下降。
- 如果有任何限制关于 biq 查询中每个数据集的 table 数量
提前致谢
据我所知 - 数据集中 table 的数量没有硬性限制。
同时 - 本机 BQ UI 限制显示数据集中的前 10,000 table 秒。
要考虑的另一个限制(仅需提及):
* 每日更新限制:每天 table 1,000 次更新;
* 查询(包括引用的视图)最多可以引用 1,000 table 且不能更多;
* 查询中每增加一个 table(成百上千 table)都会对性能产生相当大的影响。
* 即使每个 table 足够小 - 仍将以 10MB 的最低价格收费(即使只有几 KB)
不知道你的确切情况不允许提出一些建议,但至少你已经对你问题中的那些项目有了答案。
总的来说,每个用户 table 的想法对我来说并不好