msck 修复 table 是否需要 hadoop/map-reduce?
Does msck repair table require hadoop/map-reduce?
我正在寻找 运行 Hive,但不想 运行 hadoop/map-reduce。
我希望用户仅将 hive 用于元数据,将 spark、presto 等用于 queries/execution。
我认为这通常会起作用,但我担心一些管理命令。具体来说,我需要知道 msck repair table
是如何工作的。
此命令是否需要 map-reduce 才能运行,或者 hive 是否在 metastore/etc 中处理它?
不需要这样的 Map Reduce 二进制文件
msck repair table.
Map Reduce (MR) 是大规模并行计算的概念。
如果您不使用 Impala 或其他执行引擎进行处理 - 如 Spark,Hive 将使用 Map Reduce。
在任何情况下,使用 HDFS 等都意味着安装 Hadoop,并且无论如何您都会获得所有 MR 好东西。
您当然可以 运行 没有 Hadoop 的 Spark。也就是说,它的一些功能依赖于 Hadoop 二进制文件——例如镶木地板。
编辑 - 从评论中提取它,同时接受它,因为它非常有用:
这个链接的答案深入探讨了 msck 修复是如何在幕后工作的,并清楚地表明 map-reduce 不是由它触发的。
我正在寻找 运行 Hive,但不想 运行 hadoop/map-reduce。
我希望用户仅将 hive 用于元数据,将 spark、presto 等用于 queries/execution。
我认为这通常会起作用,但我担心一些管理命令。具体来说,我需要知道 msck repair table
是如何工作的。
此命令是否需要 map-reduce 才能运行,或者 hive 是否在 metastore/etc 中处理它?
msck repair table.
Map Reduce (MR) 是大规模并行计算的概念。
如果您不使用 Impala 或其他执行引擎进行处理 - 如 Spark,Hive 将使用 Map Reduce。
在任何情况下,使用 HDFS 等都意味着安装 Hadoop,并且无论如何您都会获得所有 MR 好东西。
您当然可以 运行 没有 Hadoop 的 Spark。也就是说,它的一些功能依赖于 Hadoop 二进制文件——例如镶木地板。
编辑 - 从评论中提取它,同时接受它,因为它非常有用:
这个链接的答案深入探讨了 msck 修复是如何在幕后工作的,并清楚地表明 map-reduce 不是由它触发的。