发生故障转移时webhdfs是否支持高可用性

Question

iam 在 centos 7 上使用 hadoop 2.7.1

当 hadoop 集群包含高可用性时

并且活动名称节点发生故障，它变为备用

但是 webhdfs 不支持高可用性吗？

向其他活动名称发送 get 和 put 请求的替代方法是什么

主名称节点发生故障的节点

Answer 1

是，WebHDFS 不支持高可用性。这个问题仍然悬而未决。参考 HDFS-6371

相反，您可以选择 HttpFs。它可与 webhdfs REST API 和 HA 感知互操作。

或者，编写自定义实现以将请求重定向到活动名称节点。

Answer 2

Webhdfs 服务器 运行s 在与 NameNode 相同的进程中。所以你需要 运行 webhdfs 兼容的代理服务器，这将摆脱 NN 故障转移：

1. HttpFs - 作为 Hadoop 的一部分
2. Apache Knox- 作为 HDP 分发的一部分。

它们都兼容 webhdfs，因此您无需更改任何 REST API。