msck 修复 table 是否需要 hadoop/map-reduce?

Does msck repair table require hadoop/map-reduce?

我正在寻找 运行 Hive,但不想 运行 hadoop/map-reduce。

我希望用户仅将 hive 用于元数据,将 spark、presto 等用于 queries/execution。

我认为这通常会起作用,但我担心一些管理命令。具体来说,我需要知道 msck repair table 是如何工作的。

此命令是否需要 map-reduce 才能运行,或者 hive 是否在 metastore/etc 中处理它?

不需要这样的 Map Reduce 二进制文件

msck repair table.

Map Reduce (MR) 是大规模并行计算的概念。

如果您不使用 Impala 或其他执行引擎进行处理 - 如 Spark,Hive 将使用 Map Reduce。

https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cdh_ig_hive_troubleshooting.html#hive_msck_repair_table_best_practices

在任何情况下,使用 HDFS 等都意味着安装 Hadoop,并且无论如何您都会获得所有 MR 好东西。

您当然可以 运行 没有 Hadoop 的 Spark。也就是说,它的一些功能依赖于 Hadoop 二进制文件——例如镶木地板。

编辑 - 从评论中提取它,同时接受它,因为它非常有用:

这个链接的答案深入探讨了 msck 修复是如何在幕后工作的,并清楚地表明 map-reduce 不是由它触发的。