具有不同行数的分隔文件 Azure 数据工厂

Delimited File with Varying Number of Rows Azure Data Factory

我有一个由散列分隔的分隔文件,看起来有点像这样,

值#值#值#值#值#值##值[=1​​0=]

值#值#值#值##值#####值#####值[=1​​0=]

值#值#值#值###值#值####值##值[=1​​0=]

如您所见,当用哈希分隔时,第 2 行和第 3 行中的列比第一行中的列多。我希望能够在一些转换后使用 ADF 数据流将其提取到数据库中。但是,每当我尝试进行任何类型的映射时,我总是只能看到 7 列(第一行中的列数)。

有什么方法可以得到所有的值吗?项目数最多的行中有多少列?我不介意空值。

注意:我没有 header 行。

Azure 数据工厂将无法直接导入具有最大列数的架构行。因此,确保文件中的列数相同很重要。

您可以使用 Azure 函数来验证您的文件并更新它以获得所有行中相同数量的列。

您可以尝试使用具有最大列数的行的本地文件并从该文件导入模式,否则您必须使用 Azure Functions,您必须在其中转换文件然后触发管道。