具有不同行数的分隔文件 Azure 数据工厂
Delimited File with Varying Number of Rows Azure Data Factory
我有一个由散列分隔的分隔文件,看起来有点像这样,
值#值#值#值#值#值##值[=10=]
值#值#值#值##值#####值#####值[=10=]
值#值#值#值###值#值####值##值[=10=]
如您所见,当用哈希分隔时,第 2 行和第 3 行中的列比第一行中的列多。我希望能够在一些转换后使用 ADF 数据流将其提取到数据库中。但是,每当我尝试进行任何类型的映射时,我总是只能看到 7 列(第一行中的列数)。
有什么方法可以得到所有的值吗?项目数最多的行中有多少列?我不介意空值。
注意:我没有 header 行。
Azure 数据工厂将无法直接导入具有最大列数的架构行。因此,确保文件中的列数相同很重要。
您可以使用 Azure 函数来验证您的文件并更新它以获得所有行中相同数量的列。
您可以尝试使用具有最大列数的行的本地文件并从该文件导入模式,否则您必须使用 Azure Functions,您必须在其中转换文件然后触发管道。
我有一个由散列分隔的分隔文件,看起来有点像这样,
值#值#值#值#值#值##值[=10=]
值#值#值#值##值#####值#####值[=10=]
值#值#值#值###值#值####值##值[=10=]
如您所见,当用哈希分隔时,第 2 行和第 3 行中的列比第一行中的列多。我希望能够在一些转换后使用 ADF 数据流将其提取到数据库中。但是,每当我尝试进行任何类型的映射时,我总是只能看到 7 列(第一行中的列数)。
有什么方法可以得到所有的值吗?项目数最多的行中有多少列?我不介意空值。
注意:我没有 header 行。
Azure 数据工厂将无法直接导入具有最大列数的架构行。因此,确保文件中的列数相同很重要。
您可以使用 Azure 函数来验证您的文件并更新它以获得所有行中相同数量的列。
您可以尝试使用具有最大列数的行的本地文件并从该文件导入模式,否则您必须使用 Azure Functions,您必须在其中转换文件然后触发管道。