Hadoop：两个数据节点，但 UI 显示一个和 Spark：两个工作人员 UI 显示一个

Question

我在 SO 和 Quora 以及许多网站上看到了很多答案。当他们为从属 IP 配置防火墙时，一些问题得到了解决，有人说这是一个 UI 故障。我很迷惑。我有两个datanode：一个是纯datanode，一个是Namenode+datanode。问题是当我做 <master-ip>:50075 它只显示一个数据节点（也有名称节点的机器）。但是我的 hdfs dfsadmin -report 显示我有两个数据节点，在我的主机上启动 hadoop 之后，如果我在 pure-datanode-machine or slave machine 上执行 jps 我可以看到数据节点运行。两台机器上的防火墙都关闭了。 sudo ufw status verbose 给出了 Status: inactive 响应。同样的场景与火花。 Spark UI 将工作节点显示为主节点而非纯工作节点的节点 node.But 工作节点在 pure-worker-machine 上运行。同样，这是 UI 故障还是我遗漏了什么？ hdfs dfsadmin -report

Configured Capacity: 991216451584 (923.14 GB)
Present Capacity: 343650484224 (320.05 GB)
DFS Remaining: 343650418688 (320.05 GB)
DFS Used: 65536 (64 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (2):

Name: 10.10.10.105:50010 (ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 24690192384 (22.99 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 7112691712 (6.62 GB)
DFS Remaining: 16299675648 (15.18 GB)
DFS Used%: 0.00%
DFS Remaining%: 66.02%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017


Name: 110.44.111.147:50010 (saque-slave-ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 966526259200 (900.15 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 590055215104 (549.53 GB)
DFS Remaining: 327350743040 (304.87 GB)
DFS Used%: 0.00%
DFS Remaining%: 33.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017

/etc/hadoop/masters 主节点上的文件

ekbana

/etc/hadoop/slaves 主节点上的文件

ekbana
saque-slave-ekbana

/etc/hadoop/masters 从属节点上的文件

saque-master

注意：slaves机器上的saque-master和master机器上的ekbana映射到同一个IP。 UI 看起来也类似于

Answer 1

这是因为相同的主机名(ekbana)。所以在 UI 中它只会显示同一主机名的一个条目。

如果你想确认这一点，只需启动一个不在master中的datanode。您可以在 UI.

中看到该条目

如果您也启动了其他数据节点，它将屏蔽同一主机名的第二个条目。

您可以更改主机名并尝试。

Answer 2

我也遇到过类似的问题，在 dfshealth.html 页面上看不到数据节点信息。我有两个主机，分别名为 master 和 slave。

etc/hadoop/masters (on master machine)
master
etc/hadoop/slaves
master
slave

etc/hadoop/masters (slave machine)
master
etc/hadoop/slaves
slave

并且它能够在 UI 上看到数据节点。

Hadoop：两个数据节点，但 UI 显示一个和 Spark：两个工作人员 UI 显示一个

Hadoop: two datanodes but UI shows one and Spark: two workers UI shows one

hadoop

hdfs

webhdfs

apache-spark