使用 Snowflake 的 Power BI 增量刷新

Power BI Incremental Refresh with Snowflake

有没有人用Snowflake作为数据源成功使用过PBI增量刷新?完全刷新我的数据集(没有增量刷新)大约需要 20 分钟,但在启用增量刷新的情况下,数据刷新超时,因为它需要超过 120 分钟。在 Snowflake 中查看查询历史记录时,看起来 'SELECT *' 查询正在一次又一次地进行,直到超时。

我看到一些帖子说 'query folding' 不受 Snowflake 支持,而其他人则说它部分受支持。

任何清晰度将不胜感激!

我们还尝试了多个选项来检查是否可以为 Snowflake Power BI 启用增量刷新combination.Two我们用来验证细节的东西是

  1. 从 Power BI 发送的查询的雪花查询历史记录
  2. 使用 power bi desktop 中的诊断功能,它将显示是否生成了源查询

这两个都表明查询折叠不起作用,因此增量刷新。我们探索的另一个选择是我们是否可以利用 Power BI 数据流进行增量刷新。但这也没有得到直接支持。

我们还计划再尝试一个 "long cut" 这可能有助于我们实现增量刷新:

  1. 在 power bi 和 snowflake 之间引入 Azure ADLS gen2 存储
  2. 我们需要将需要增量加载的数据引入ADLS
  3. 可以利用 Power BI 数据流对来自 ADLS 的 Power BI 数据集进行增量刷新。

不确定这是否适合您。祝一切顺利

谢谢, 普拉桑

自 2020 年 8 月起,Snowflake 的增量刷新在数据集和数据流中均有效。已使用 Snowflake 中的查询历史记录进行验证。