用于分组和聚合数据的 PIG 脚本

Question

我有一个文件，其中的数据类似于以下文件

(1,11)
(1,111)
(2,22)
(2,222)

如何生成下面的输出？

(1,11,111)
(2,22,222)

提前致谢！！！

Answer 1

BagToString() 函数将有助于您的用例。

参考：http://pig.apache.org/docs/r0.11.0/api/org/apache/pig/builtin/BagToString.html

输入：

1,11
1,111
2,22
2,222

猪脚本:

inp_data = LOAD 'input_data.csv' USING PigStorage(',') AS (id:long,value:long);
inp_grp_id = GROUP inp_data BY  id;
req_stats = FOREACH inp_grp_id GENERATE group AS id, BagToString(inp_data.value,',') AS values;

输出：

(1,11,111)
(2,22,222)