Spark Streaming 中 setJars() 方法的输入应该是什么
What should be the input to setJars() method in Spark Streaming
val conf = new SparkConf(true)
.setAppName("Streaming Example")
.setMaster("spark://127.0.0.1:7077")
.set("spark.cassandra.connection.host","127.0.0.1")
.set("spark.cleaner.ttl","3600")
.setJars(Array("your-app.jar"))
假设我正在创建一个 Spark 流应用程序
"your-app.jar" 文件的内容应该是什么?我是否必须在我的本地文件系统中手动创建它并传递路径或者是使用 sbt 的 Scala 编译文件?
如果那是 scala 文件,请帮助编写代码
因为我是初学者,所以我只是想 运行 一些示例代码。
SparkConf class 的 setJars 方法获取需要在集群上分发的外部 JAR。任何外部驱动程序,如 JDBC 等
如果您要求的话,您不必在此传递您自己的应用程序 JAR。
val conf = new SparkConf(true)
.setAppName("Streaming Example")
.setMaster("spark://127.0.0.1:7077")
.set("spark.cassandra.connection.host","127.0.0.1")
.set("spark.cleaner.ttl","3600")
.setJars(Array("your-app.jar"))
假设我正在创建一个 Spark 流应用程序
"your-app.jar" 文件的内容应该是什么?我是否必须在我的本地文件系统中手动创建它并传递路径或者是使用 sbt 的 Scala 编译文件?
如果那是 scala 文件,请帮助编写代码
因为我是初学者,所以我只是想 运行 一些示例代码。
SparkConf class 的 setJars 方法获取需要在集群上分发的外部 JAR。任何外部驱动程序,如 JDBC 等
如果您要求的话,您不必在此传递您自己的应用程序 JAR。