在 Azure 数据工厂中提取数据时是否需要（某种类型的）存储
Do I need a storage (of some sort) when pulling data in Azure Data factory
*这里是数据新手*
目前，对于从 Dynamics 365 提取的数据的 运行 分析报告，我使用 Power BI。
问题是，Power BI 处理大数据的速度非常慢。我执行了一些转换步骤（例如合并、加入、删除或重命名列等）。因此，当我尝试使用上述步骤 运行 Power BI 中的查询时，需要很长时间才能完成。
因此，作为解决方案，我决定使用 Azure 数据工厂 (ADF)。计划是使用 ADF 从 CRM（即 Dynamics 365）中提取数据，执行转换并发布数据。然后我将使用 Power BI 进行可视化分析。
我的问题是：
除了数据工厂，我还需要什么 azure 服务？我是否需要将从 CRM 提取的数据存储在某个地方——例如 Azure Data Lake 或 Blob 存储？或者我可以在数据被摄取后立即进行转换吗？
最初，我认为我可以使用 'copy' activity 从 CRM 中提取数据并开始使用这些数据。但是使用副本 activity，我需要提供一个接收器（数据的目的地。它必须是某种存储）。
我还想，我可以利用 'lookup' activity。我尝试使用它，但出现错误（没有产生异常消息）。
我在 Internet 上搜索了类似的过程（即 Dynamics 365 -> 数据工厂 -> Power BI），但我一直找不到。
然而，我见过的大多数进程在数据摄取后立即使用某种数据存储。
欢迎大家回复。即使你认为我的做法是错误的。
谢谢。
这里有几件事：
- 副本 activity 只是将数据从源移动到接收器。它不会即时修改它。
- 查找 activity 只是为了查找一些属性，以便稍后在同一管道上使用。
- ADF 无法将数据集发布到 power bi（尽管它可能能够推送到流数据集）。
您的方法是正确的，但您需要最后一步转换数据。你在这里有很多选择，但由于你已经熟悉 Power Bi，你可以使用 Wrangling Dataflows，它允许你从数据湖中获取文件，应用一些强大的查询并在湖中保存一个新文件。您还可以使用映射数据流、数据块或任何其他数据转换工具。
最后，您可以使用 Power Bi 从数据湖中提取文件，以使用此新文件中的数据制作报告。
当然，一如既往，在 Azure 中有很多方法可以解决问题或架构师服务，这是我认为对您来说更简单的一种。
希望对您有所帮助！
*这里是数据新手*
目前，对于从 Dynamics 365 提取的数据的 运行 分析报告，我使用 Power BI。 问题是，Power BI 处理大数据的速度非常慢。我执行了一些转换步骤（例如合并、加入、删除或重命名列等）。因此，当我尝试使用上述步骤 运行 Power BI 中的查询时，需要很长时间才能完成。
因此，作为解决方案，我决定使用 Azure 数据工厂 (ADF)。计划是使用 ADF 从 CRM（即 Dynamics 365）中提取数据，执行转换并发布数据。然后我将使用 Power BI 进行可视化分析。
我的问题是： 除了数据工厂，我还需要什么 azure 服务？我是否需要将从 CRM 提取的数据存储在某个地方——例如 Azure Data Lake 或 Blob 存储？或者我可以在数据被摄取后立即进行转换吗？
最初，我认为我可以使用 'copy' activity 从 CRM 中提取数据并开始使用这些数据。但是使用副本 activity，我需要提供一个接收器（数据的目的地。它必须是某种存储）。 我还想，我可以利用 'lookup' activity。我尝试使用它，但出现错误（没有产生异常消息）。
我在 Internet 上搜索了类似的过程（即 Dynamics 365 -> 数据工厂 -> Power BI），但我一直找不到。
然而，我见过的大多数进程在数据摄取后立即使用某种数据存储。
欢迎大家回复。即使你认为我的做法是错误的。 谢谢。
这里有几件事：
- 副本 activity 只是将数据从源移动到接收器。它不会即时修改它。
- 查找 activity 只是为了查找一些属性，以便稍后在同一管道上使用。
- ADF 无法将数据集发布到 power bi（尽管它可能能够推送到流数据集）。
您的方法是正确的，但您需要最后一步转换数据。你在这里有很多选择，但由于你已经熟悉 Power Bi，你可以使用 Wrangling Dataflows，它允许你从数据湖中获取文件，应用一些强大的查询并在湖中保存一个新文件。您还可以使用映射数据流、数据块或任何其他数据转换工具。
最后，您可以使用 Power Bi 从数据湖中提取文件，以使用此新文件中的数据制作报告。
当然，一如既往，在 Azure 中有很多方法可以解决问题或架构师服务，这是我认为对您来说更简单的一种。
希望对您有所帮助！