在 PIG 中合并零件文件
Merging Part file in PIG
我们如何合并这n个部分文件（pig操作的输出文件）。
我必须将这些文件合并为一个，然后将其用作配置单元中的输入。
我尝试使用 -cat 和 -getmerge 但没有成功。任何建议都会有所帮助。
谢谢
您可以通过以下方式指定文件
A = LOAD '/hdfs/OUTPUT/ReliableProducts-r-*' using PigStorage('\t') as (Sid:int,Sname:chararray,Ttrading:chararray,Sloc:chararray,OBal:int,CBal:int,Frate:int);
希望对您有所帮助！！！
Hadoop FileUtil class 有一个 copyMerge 方法可以很好地处理多部分文件问题。
它将获取您提供的文件夹中的所有文件（尽管不会递归地查看）并将它们全部连接起来生成一个文件。
我们如何合并这n个部分文件（pig操作的输出文件）。 我必须将这些文件合并为一个，然后将其用作配置单元中的输入。 我尝试使用 -cat 和 -getmerge 但没有成功。任何建议都会有所帮助。
谢谢
您可以通过以下方式指定文件
A = LOAD '/hdfs/OUTPUT/ReliableProducts-r-*' using PigStorage('\t') as (Sid:int,Sname:chararray,Ttrading:chararray,Sloc:chararray,OBal:int,CBal:int,Frate:int);
希望对您有所帮助！！！
Hadoop FileUtil class 有一个 copyMerge 方法可以很好地处理多部分文件问题。
它将获取您提供的文件夹中的所有文件（尽管不会递归地查看）并将它们全部连接起来生成一个文件。