通过java列出hadoop集群中所有yarn应用

Question

在我的 hadoop 集群上运行命令 yarn application -list，它 returns 应用程序列表运行.

我想使用 Java 获取此列表。

目前我正在使用 yarnClient API

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.3</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-client</artifactId>
        <version>2.7.0</version>
    </dependency>

我的代码如下：

    YarnConfiguration conf = new YarnConfiguration();
    YarnClient yarnClient = YarnClient.createYarnClient();
    yarnClient.init(conf);
    yarnClient.start();
    List<ApplicationReport> list =  yarnClient.getApplications();
    System.out.print(list.size());
    yarnClient.stop();

但是这在第 List<ApplicationReport> list = yarnClient.getApplications() 行被挂起并且不会向前移动。

Answer 1

当我的 YarnConfiguration 没有正确配置时，我的代码挂在 #getApplications() 上。默认情况下，它使用 0.0.0.0:8032 作为 Yarn 资源管理器地址。我不得不用正确的地址覆盖它：

YarnConfiguration conf = new YarnConfiguration();
conf.set("yarn.resourcemanager.address", "<hostname>:<port>");
YarnClient yarnClient = YarnClient.createYarnClient();
yarnClient.init(conf);
yarnClient.start();

我使用 Hadoop 2.6.0 对此进行了测试，但看起来默认值对于 2.7.0 也是相同的（参见 sources）。

通过java列出hadoop集群中所有yarn应用

List all yarn application in hadoop cluster through java

java

hadoop

hadoop-yarn