将现有数据保留在数据模型中,并使用新数据对其进行扩展

Keeping existing data in data model and just extend it with new data

我是做什么的:
我使用 power query 构建了 ETL 进程,以将数据(生产机器停止历史记录)从多个 Excel 文件直接加载到 PowerBI 中。 在每个新班次(每 8 小时)上,生产机器都会生成一个新的 excel 文件,也需要将其加载到数据模型中。

我是怎么做到的:
为此,power query 正在处理在特定文件夹中找到的所有文件。

问题:
在查询刷新期间,它需要一次又一次地处理所有数据文件(旧文件+新文件)。
如果我从文件夹中删除旧文件,Power Query 也会在下一个刷新周期中从数据模型中删除数据。

我需要什么/我的问题:
批处理将新文件复制到文件夹中,同时删除所有旧文件。
是否有可能以 将现有数据保留在数据模型中并仅使用新文件中的数据扩展它的方式来配置强大的查询?

我想避免的:
我知道构建数据库是一种解决方案,但这需要第二个具有新 ETL 过程的系统。但是 power query 已经很好地预处理了数据!因此,如果可能的话,如果这个问题可以直接在 power query / power bi 中解决,我们将不胜感激。

如果你想用加农炮打麻雀,你可以试试incremental refresh,但这是高级功能。

在 Power BI 中刷新数据集会重新加载它,因此首先它会被清除,其次 - 您将需要所有文件来重新加载它们并重新计算所有内容。如果您不想这样做,则必须更改 ETL 以将数据存储在报告数据集之外(例如,数据库将是一个很好的选择),或者将 push the data 从新文件仅更改为数据集(在你的情况下我不推荐)。

总而言之 - 最好的解决方案是构建 ETL 过程并将数据放入数据仓库,然后将其用作报告的数据源。