使用 MapReduce 查找非对称对
Finding Asymmetric Pairs using MapReduce
我正在尝试分析包含 follower 和 followee 对的社交网络数据。
我想找到 asymmetric pairs （A 跟随 B 但 B 不跟随 A） 使用 MapReduce (Hadoop).
然而，有了这对数据，我不确定 mappers 和 one reducer 应该如何处理数据，因为分开对会影响结果。
有人可以向我解释一下如何使用 MapReduce 使用 MapReduce 从海量数据中找到非对称对吗？
非常感谢。
p.s。我希望有一种方法可以使用多个 Mappers 来解决此类问题，即使我可能只需要使用一个 Reducer。
这是我解决问题的方法。
（它有效，但可能不是最佳解决方案。如果有人有更好的答案，请告诉我。）
Each mapper 统计 follower/followee 对 的数量，同时使这对 的顺序为小数在前，大数在后。
0 -> 1 (ID 0 follows ID 1)
1 -> 0 (ID 1 follows ID 0)
the pair (0, 1) gets the counts of 2
Single reducer 收集计数的 key-value 对并检查该对的计数是否为 1。
1表示两个节点之间只有一条有向边
我正在尝试分析包含 follower 和 followee 对的社交网络数据。
我想找到 asymmetric pairs （A 跟随 B 但 B 不跟随 A） 使用 MapReduce (Hadoop).
然而，有了这对数据，我不确定 mappers 和 one reducer 应该如何处理数据，因为分开对会影响结果。
有人可以向我解释一下如何使用 MapReduce 使用 MapReduce 从海量数据中找到非对称对吗？
非常感谢。
p.s。我希望有一种方法可以使用多个 Mappers 来解决此类问题，即使我可能只需要使用一个 Reducer。
这是我解决问题的方法。
（它有效，但可能不是最佳解决方案。如果有人有更好的答案，请告诉我。）
Each mapper 统计 follower/followee 对 的数量，同时使这对 的顺序为小数在前，大数在后。
0 -> 1 (ID 0 follows ID 1)
1 -> 0 (ID 1 follows ID 0)the pair (0, 1) gets the counts of 2
Single reducer 收集计数的 key-value 对并检查该对的计数是否为 1。
1表示两个节点之间只有一条有向边