使用 Azure 数据工厂 v2 管道验证 azure blob 存储中 csv 文件每个字段的 header 名称
To validate the header name of each field of a csv file in azure blob storage using Azure data factory v2 pipelines
我有一个场景,用户将上传一个文件,其中包含一些数据和该文件中的 header。我需要处理文件并确保 header 中的字段名称正确并且没有空格和特殊字符。
例如。用户在存储帐户中放置的文件包含以下内容 header
我需要改成这个
我该如何执行此 ADF v2?
数据工厂不会真正这样做,但如果这是更大 ETL 过程的一部分,您可以使用 Select.
重命名数据流中的列
来源:
添加一个 Select 节点并转到 "Select settings" 选项卡。如果您知道架构,则可以在此处手动修复列:
您还可以使用基于规则的映射来删除所有列名中的空格。为此,删除所有现有映射并添加以下内容:
"true()" 在此上下文中表示适用于所有列,'$$' 指的是列名。 "Inspect" 选项卡将显示更新后的列名称:
我有一个场景,用户将上传一个文件,其中包含一些数据和该文件中的 header。我需要处理文件并确保 header 中的字段名称正确并且没有空格和特殊字符。
例如。用户在存储帐户中放置的文件包含以下内容 header
我需要改成这个
我该如何执行此 ADF v2?
数据工厂不会真正这样做,但如果这是更大 ETL 过程的一部分,您可以使用 Select.
重命名数据流中的列来源:
添加一个 Select 节点并转到 "Select settings" 选项卡。如果您知道架构,则可以在此处手动修复列:
您还可以使用基于规则的映射来删除所有列名中的空格。为此,删除所有现有映射并添加以下内容: