无法连接到 Spark Master：原因是：[Disassociated]

Question

我正在尝试从 Eclipse Rich Platform 应用程序连接到我本地计算机上的 Spark 集群以创建 Spark 流上下文。从 spark shell 连接工作完美，但是当我尝试运行来自 class 的代码时，我正在处理的结果是：

 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

很明显主机与我在 Spark 中使用的相同 Shell。

这是我尝试连接到 Spark 的代码块。

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

JavaSparkContext sc = new JavaSparkContext(conf);
JavaStreamingContext ssc = new JavaStreamingContext(sc,Durations.seconds(3));
ssc.awaitTermination();

它重试几次然后终止。

Answer 1

可能存在版本问题，您的 spark 服务器可能是 1.3，而您在 pom 文件中依赖 1.4，如果使用 maven 或具有 1.4 的 jar 文件，请交叉引用它并在代码中

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

spark://host:7077 这个主机应该是主机名

无法连接到 Spark Master：原因是：[Disassociated]

Failing to connect to Spark Master: Reason is: [Disassociated]

java

akka

apache-spark

spark-streaming