无法解析大师 URL

Question

如果有人回答我的问题，我将不胜感激。我的部分代码是：

public static void main(String[] args) {
    // TODO Auto-generated method stub
    SparkConf conf= new SparkConf().setAppName("AirPollution").setMaster("yarn");
    SparkContext context=new SparkContext(conf);

我该如何解决这个错误？

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'yarn'

Answer 1

根据master最近的Spark代码来看，这个应该可以。默认情况下，如果不设置 spark.submit.deployMode 配置参数，Spark 将使用客户端部署模式。

但是，这在 Spark 1 中不起作用。6.x。如果您使用 Spark 1.6.x，您将必须明确指定您的 master URL 为 "yarn-cluster" 或 "yarn-client".

也可以考虑使用 spark-submit，因为它将帮助您避免在代码中设置一些配置参数（例如 master URL）。因此，您将能够使用另一个集群管理器而无需重新编译您的程序。

Answer 2

我找到了灵魂。任何有此问题的机构都应将 spark-yarn.jar 添加到构建路径中。重要的问题是，如果您使用 SPARK 2+，它应该是最后一个版本。例如 spark-yarn2.11 为我工作

Answer 3

我可以通过将以下 Spark Project Yarn 依赖项包含到我的 Scala 项目中来解决此问题。

我的 VM Spark 版本是 2.3.0。斯卡拉 - 2.11.0

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-yarn_2.11</artifactId>
    <version>2.3.0</version>
</dependency>

参考下文link https://community.hortonworks.com/questions/36354/eclipse-to-sandbox-1.html

无法解析大师 URL

Could not parse Master URL

eclipse

hadoop-yarn

apache-spark