使用 Azure 数据工厂 v2 管道验证 azure blob 存储中 csv 文件每个字段的 header 名称

To validate the header name of each field of a csv file in azure blob storage using Azure data factory v2 pipelines

我有一个场景,用户将上传一个文件,其中包含一些数据和该文件中的 header。我需要处理文件并确保 header 中的字段名称正确并且没有空格和特殊字符。 例如。用户在存储帐户中放置的文件包含以下内容 header

我需要改成这个

我该如何执行此 ADF v2?

数据工厂不会真正这样做,但如果这是更大 ETL 过程的一部分,您可以使用 Select.

重命名数据流中的列

来源:

添加一个 Select 节点并转到 "Select settings" 选项卡。如果您知道架构,则可以在此处手动修复列:

您还可以使用基于规则的映射来删除所有列名中的空格。为此,删除所有现有映射并添加以下内容: "true()" 在此上下文中表示适用于所有列,'$$' 指的是列名。 "Inspect" 选项卡将显示更新后的列名称: