Running spark job using Yarn giving error:com.google.common.util.concurrent.Futures.withFallback

Question

我正在尝试运行使用 yarn 的 spark 作业，但出现以下错误

java.lang.NoSuchMethodError: com.google.common.util.concurrent.Futures.withFallback(Lcom/google/common/util/concurrent/ListenableFuture;Lcom/google/common/util/concurrent/FutureFallback;Ljava/util/concurrent/Executor;)Lcom/google/common/util/concurrent/ListenableFuture;
at com.datastax.driver.core.Connection.initAsync(Connection.java:176)
at com.datastax.driver.core.Connection$Factory.open(Connection.java:721)
at com.datastax.driver.core.ControlConnection.tryConnect(ControlConnection.java:248)
at com.datastax.driver.core.ControlConnection.reconnectInternal(ControlConnection.java:194)
at com.datastax.driver.core.ControlConnection.connect(ControlConnection.java:82)
at com.datastax.driver.core.Cluster$Manager.init(Cluster.java:1307)
at com.datastax.driver.core.Cluster.init(Cluster.java:159)
at com.datastax.driver.core.Cluster.connect(Cluster.java:249)
at com.figmd.processor.ProblemDataloader$ParseJson.call(ProblemDataloader.java:46)
at com.figmd.processor.ProblemDataloader$ParseJson.call(ProblemDataloader.java:34)
at org.apache.spark.api.java.JavaRDDLike$$anonfun$fn.apply(JavaRDDLike.scala:140)
at org.apache.spark.api.java.JavaRDDLike$$anonfun$fn.apply(JavaRDDLike.scala:140)
at org.apache.spark.rdd.RDD$$anonfun.apply(RDD.scala:618)
at org.apache.spark.rdd.RDD$$anonfun.apply(RDD.scala:618)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:280)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:247)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:61)
at org.apache.spark.scheduler.Task.run(Task.scala:56)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:200)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

集群详细信息：火花 1.2.1，hadoop 2.7.1 我使用 spark.driver.extraClassPath 提供了 class 路径。 hadoop 用户可以访问 class 路径，因为 well.But 我认为 yarn 没有在 class 路径上获取 JAR。我无法找到 it.Any 的根本原因，我们将不胜感激。

谢谢。

Answer 1

问题与番石榴版本不匹配有关。

withFallback 已添加到 Guava 版本 14。看起来你的类路径上有 Guava < 14

Answer 2

我遇到了同样的问题，解决方案是 shade guava 以避免 classpath 碰撞。

如果您使用 sbt assembly 构建您的 jar，您可以将其添加到您的 build.sbt:

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("com.google.**" -> "shadeio.@1").inAll
)

我写了一篇博客 post，其中描述了我实现此解决方案的过程：Making Hadoop 2.6 + Spark-Cassandra Driver Play Nice Together。

希望对您有所帮助！

Answer 3

添加到@Arjones 的回答中，如果您正在使用 gradle + GradleShadow，您可以将其添加到您的 build.gradle 以重新定位或重命名 Guava 类。

shadowJar {
    relocate 'com.google.common', 'com.example.com.google.common'
}

Running spark job using Yarn giving error:com.google.common.util.concurrent.Futures.withFallback

Running spark job using Yarn giving error:com.google.common.util.concurrent.Futures.withFallback

hadoop

classpath

hadoop-yarn

apache-spark