如何设置 SPARK_LOCAL_IP 个地址

Question

我有一个使用 Maven 和 Scala 的 eclipse 字数统计程序。导出 jar 文件并尝试在终端上 运行 之后（在 Ubuntu 上） 我得到了意想不到的结果

我的道路火花是

home/amel/spark

我的 hadoop 路径是

/usr/local/hadoop

我的命令是 su hadoopusr //我输入我的密码 然后我进入这个命令 开始-all.sh 然后我输入保存 jar 的 spark 文件，然后我 运行 这个命令

 spark-submit --class bd.spark_app.first.wordcount --master yarn -- 
    master local[2] SparkExample.jar

r

** 请记住，我的 HDFS 中有一个名为 "sampledata" 的文件，我将 运行ning 字数统计程序**

---

这是我在 eclipse 上的代码（我正在使用带有 scala 的 maven 项目 ide） 包裹 bd.spark_app

 import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import org.apache.spark.SparkContext._
    import org.apache.spark.rdd.RDD.rddToOrderedRDDFunctions
    object first {
    def main ( args:Array[String] ) ={

    val conf = new SparkConf().setMaster("local").setAppName("wordcount")

    val sc = new SparkContext(conf)

    val sampledata = sc.textFile("/home/hadoopusr/sampledata")

    val result = sampledata.flatMap(_.split(" ")).map(words => (words, 
    1)).reduceByKey(_+_)
    result.collect.foreach(println)

    result.saveAsTextFile("outputfile")

    sc.stop()
    }
    }

---

我预料到了这个结果

(me,4)
(you,3)
(food,2)
(cat,1)

Answer 1

spark-submit --class bd.spark_app.first.wordcount --master yarn -- 
    master local[2] SparkExample.jar

这个命令是错误的，有2个master，一个是本地的，一个是yarn。

第二件事是你 SparkExample.jar 不在你试图执行的路径中 spark-submit 这就是类未发现异常的原因。

请更正所有这些。请参考https://spark.apache.org/docs/latest/submitting-applications.html