重命名 PIG 输出的部分文件
Renaming part files of PIG output
我需要在 运行 我的 PIG 作业后更改零件文件命名约定。我希望 part-r-0000 成为 userdefinedName-r-0000。
有什么可能的解决方案吗？
我正在避免使用 hadoop -cp 和 hadoop -mv 命令。
谢谢
此文件是由 Pig 生成的 map-reduce 作业创建的。所以你应该配置 Apache Map-reduce。对应的属性为mapreduce.output.basename
您可以直接在您的 pig 脚本中定义任何 Hadoop 属性：
SET mapreduce.output.basename 'custom-name';
Starting the pig like this would do the same
pig -Dmapreduce.job.queuename=my-queue -Dmapreduce.output.basename=my-outputfilename;
我需要在 运行 我的 PIG 作业后更改零件文件命名约定。我希望 part-r-0000 成为 userdefinedName-r-0000。
有什么可能的解决方案吗？ 我正在避免使用 hadoop -cp 和 hadoop -mv 命令。
谢谢
此文件是由 Pig 生成的 map-reduce 作业创建的。所以你应该配置 Apache Map-reduce。对应的属性为mapreduce.output.basename
您可以直接在您的 pig 脚本中定义任何 Hadoop 属性：
SET mapreduce.output.basename 'custom-name';
Starting the pig like this would do the same
pig -Dmapreduce.job.queuename=my-queue -Dmapreduce.output.basename=my-outputfilename;