合并数据湖存储中的文件

Merge files from Data lake store

我有一个每天将文件导入数据湖存储的包。所以这是具有不同值(相同列等)的同一文件。我的想法是将这些文件合并到 Data lake 上的一个文件中,用于月度报告。我想调查U-SQL,所以我的问题是:
这可能与 U-SQL?
相关吗 如果不可能,还有其他选择吗?

合并两个文件中的记录并写入一个新文件非常容易。以下是步骤

  1. 使用 EXTRACT 读取所有新文件
  2. 使用EXTRACT读取当前主文件的所有记录
  3. 使用UNION ALL合并记录:https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx
  4. 使用 OUTPUT 语句将输出写入主文件

如需快速 U-SQL 教程,请访问此处:https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-get-started