hadoop集群中的各种端口?

Various ports in hadoop cluster?

我试图了解 Hadoop 集群中各种守护进程/进程侦听的各种端口。

核心-site.xml

    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master.hadoop.cluster:54310</value>
    </property>

纱-site.xml

    <property>
            <name>yarn.resourcemanager.address</name>
            <value>master.hadoop.cluster:8032</value>
    </property>

我看到我们还有其他三个端口,它们是:

1) 50070 --> 查看 hdfs GUI
2) 8088 --> 查看 RM GUI
3) 8042 --> 不确定我们可以在这个端口看到哪个 GUI

由于端口太多,我不太清楚哪个端口用于哪个东西。如果我向端口发出 HTTP 请求,比如在 8032,它说这是 Hadoop IPC port.

任何人都可以帮助我理解这一点,我们应该知道的主要端口号是什么,以及哪些进程在这些端口上侦听。

fs.defaultFS中定义的端口用于文件系统元数据操作。您不能使用它来访问 Web UI。 8042 用于 NodeManager Web UI 和 8032 用于 ResourceManager IPC。

参考