Azure 数据工厂根据列中的多个值在 csv 中添加其他行
Azure Data factory to add additional rows in csv based on multiple values in a column
我在 Azure blob 中有一个 excel 文件,我将其转换为 csv 文件并对该文件执行一些转换。 excel 文件是当天的产品值列表。所以这些列就像数据、产品名称、价值。产品名称是由 space.
分隔的不同产品的列表
如何对每个产品名称展开成单独行的数据集进行反规范化。
例如下面的 table
Date | Products | Value
20-02-2019 | prod_1 prod_2 prod_3 | 43
20-02-2019 | prod_4 | 32
21-02-2019 | prod_1 prod_4 | 32
21-02-2019 | prod_2 | 40
应该转换为
Date | Product | Values
20-02-2019 | prod_1 | 43
20-02-2019 | prod_2 | 43
20-02-2019 | prod_3 | 43
20-02-2019 | prod_4 | 32
21-02-2019 | prod_1 | 32
21-02-2019 | prod_4 | 32
21-02-2019 | prod_2 | 40
我研究过映射数据流和更改行,但它们都需要一个数据库作为接收器。我对 ADF 比较陌生,所以想知道是否有办法将转换存储在 blob 中?
您可以在 ADF 数据流中执行此操作并将其汇入 blob 文件夹。只有在执行 update/delete/upsert 操作时才需要更改行。
添加解决方案并双击@Mark Kromer MSFT 所说的内容。我能够通过使用
派生列 - 我在 space ' ' 上拆分了 Products 列。这给出了一个包含产品名称的数组。我使用 flatten activity 按产品展开。然后我使用过滤器 activity(在你的数据集中,管道和产品名称之间有一个 space(例如)| prod_1。下面的动画将使实现更加清晰.
我在 Azure blob 中有一个 excel 文件,我将其转换为 csv 文件并对该文件执行一些转换。 excel 文件是当天的产品值列表。所以这些列就像数据、产品名称、价值。产品名称是由 space.
分隔的不同产品的列表如何对每个产品名称展开成单独行的数据集进行反规范化。 例如下面的 table
Date | Products | Value
20-02-2019 | prod_1 prod_2 prod_3 | 43
20-02-2019 | prod_4 | 32
21-02-2019 | prod_1 prod_4 | 32
21-02-2019 | prod_2 | 40
应该转换为
Date | Product | Values
20-02-2019 | prod_1 | 43
20-02-2019 | prod_2 | 43
20-02-2019 | prod_3 | 43
20-02-2019 | prod_4 | 32
21-02-2019 | prod_1 | 32
21-02-2019 | prod_4 | 32
21-02-2019 | prod_2 | 40
我研究过映射数据流和更改行,但它们都需要一个数据库作为接收器。我对 ADF 比较陌生,所以想知道是否有办法将转换存储在 blob 中?
您可以在 ADF 数据流中执行此操作并将其汇入 blob 文件夹。只有在执行 update/delete/upsert 操作时才需要更改行。
添加解决方案并双击@Mark Kromer MSFT 所说的内容。我能够通过使用 派生列 - 我在 space ' ' 上拆分了 Products 列。这给出了一个包含产品名称的数组。我使用 flatten activity 按产品展开。然后我使用过滤器 activity(在你的数据集中,管道和产品名称之间有一个 space(例如)| prod_1。下面的动画将使实现更加清晰.