使用 Zookeeper 在 Spark 独立集群中查找领导节点
Find the leader Node in a Spark Standalone Cluster with Zookeeper
您好，我正在使用带有 zookeeper 的 Spark Standalone 集群
在执行 spark 提交之前，我需要从 Spark-Cluster 中找到领导节点。
我的问题是如何在所有 spark-master 节点中找到领导节点：
1> 可以从 Zookeeper 获取吗？
2> spark-master 是否公开了任何 API 来检查？
首先，在Spark集群中没有leader节点。有一个 Alive Master，一个或多个 Standby Master 和一个或多个 Slave。其次，当你向Spark提交任务时，你不需要知道哪个是active master。您可以提供所有 Spark Masters ips，集群将处理所有事情。
但是，如果您仍想查看此信息，最简单的方法是访问通常在端口 8080 上可用的网络 ui。您可以通过查看来检查网络 ui 端口在 Spark Master 进程详细信息：
ps -ef | grep spark
stefan 12682 1 15 09:50 pts/1 00:00:04 /usr/lib/jvm/java-8-oracle/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://spark-ip:7077
通过在 http://spark-ip:port 访问此网站 ui，您将可以查看有关该主服务器的所有详细信息。如果要以 json 格式查看此数据，请在末尾添加 /json。
您好，我正在使用带有 zookeeper 的 Spark Standalone 集群 在执行 spark 提交之前，我需要从 Spark-Cluster 中找到领导节点。
我的问题是如何在所有 spark-master 节点中找到领导节点：
1> 可以从 Zookeeper 获取吗？
2> spark-master 是否公开了任何 API 来检查？
首先，在Spark集群中没有leader节点。有一个 Alive Master，一个或多个 Standby Master 和一个或多个 Slave。其次，当你向Spark提交任务时，你不需要知道哪个是active master。您可以提供所有 Spark Masters ips，集群将处理所有事情。
但是，如果您仍想查看此信息，最简单的方法是访问通常在端口 8080 上可用的网络 ui。您可以通过查看来检查网络 ui 端口在 Spark Master 进程详细信息：
ps -ef | grep spark
stefan 12682 1 15 09:50 pts/1 00:00:04 /usr/lib/jvm/java-8-oracle/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://spark-ip:7077
通过在 http://spark-ip:port 访问此网站 ui，您将可以查看有关该主服务器的所有详细信息。如果要以 json 格式查看此数据，请在末尾添加 /json。