如何计算从一个 Hive table 复制到另一个 Hive 的行数

Question

我正在将数据从一个配置单元 table 移动到另一个配置单元 table。在移动数据时，我添加了一些新列添加分区并应用压缩。

我想知道是否有一种简单的方法可以知道从一个 table 移动到另一个的行数相同。只是为了验证移动数据操作。 目前我正在计算两个 table，这花费了太多时间，因为行数在 10^10 数量级。

谢谢

Answer 1

在从第一个 table 到第二个的数据传输过程中触发 map-reduce 作业时，您可以使用 map/reduce 中的 RECORDS 计数器来验证行计数。