TreeMap 大小在 MapReduce 代码中始终为 1

Question

我正在尝试编写代码，以获取访问该网站的前 10 个 IP 地址。我有示例日志，第一个 MR 代码的输出如下所示：

01-dynamic-c.rotterdam.luna.net 1
01-dynamic-c.wokingham.luna.net 28
02-dynamic-c.wokingham.luna.net 13
03-dynamic-c.wokingham.luna.net 15
04-dynamic-c.rotterdam.luna.net 22

现在我想计算第 2 个 MR 作业中的 TopN，但 mapper 中的树图大小始终为 1。看起来树图上的 put 操作一直在替换我的旧条目。

private TreeMap<Text, Integer> repToRecordMap = new TreeMap<Text, Integer>();
int count = 0;

@Override
public void map(Text key, Text value, Context context)
        throws IOException, InterruptedException {
    System.out.println("key ==> " + key);
    System.out.println("value ==> "
            + Integer.parseInt(value.toString()));
    System.out.println("size ==> " + repToRecordMap.size());

    repToRecordMap.put(key, Integer.parseInt(value.toString()));

}

这是 System.out 在日志中打印的内容：

key ==> ***.novo.dk
value ==> 16
**size ==> 1**
key ==> 007.thegap.com
value ==> 45
**size ==> 1**
key ==> 01-dynamic-c.rotterdam.luna.net
value ==> 1
**size ==> 1**

每次我有一个新密钥但大小始终为 1 时，这意味着它会不断用新密钥替换我的旧密钥。请帮我看看为什么会这样？

谢谢

Answer 1

您应该将 Text 对象转换为 String 并定义 Map<String, Integer>。 MapReduce 框架在可能时重用可序列化对象以进行内存优化。我认为这就是您的情况，Text 对象是相同的（在对象级别），即使它们代表不同的 String。

TreeMap 大小在 MapReduce 代码中始终为 1

TreeMap size is always 1 in MapReduce code

hadoop

mapreduce

bigdata