Hive--重复的Order By Values，结果会一直一样吗？

Question

我知道理论上答案是随机的，但我想知道您是否使用 row_number() 执行例如 window 函数并且您在给定分区的按列排序中有重复值，结果还会一样吗？即使未指定，Hive 是否会查看其他列来确定顺序？

Answer 1

无法保证重复行的顺序，因为查询处理是在许多映射器和缩减器中并行进行的，每个映射器和缩减器的执行速度可能更快或更慢，但并不总是相同，具体取决于集群和每个节点所涉及的负载。即使在单个 reducer 上，Mapper 的结果也可能不会以相同的顺序处理。