如何将托管在 HDFS 中的配置文件传递给 Spark 应用程序？

Question

我正在使用 Spark Structured Streaming。另外，我正在与 Scala 合作。我想将配置文件传递给我的 spark 应用程序。此配置文件位于 HDFS。例如;

spark_job.conf (HOCON)

spark {
  appName: "",
  master: "",
  shuffle.size: 4 
  etc..
}

kafkaSource {
  servers: "",
  topic: "",
  etc..
}

redisSink {
  host: "",
  port: 999,
  timeout: 2000,
  checkpointLocation: "hdfs location",
  etc..
}

如何将它传递给 Spark 应用程序？我如何在 Spark 中读取此文件 (hosted HDFS)？

Answer 1

您可以通过以下方式从HDFS读取HOCON配置：

import com.typesafe.config.{Config, ConfigFactory}
import java.io.InputStreamReader
import java.net.URI
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration

val hdfs: FileSystem = FileSystem.get(new URI("hdfs://"), new Configuration())

val reader = new InputStreamReader(hdfs.open(new Path("/path/to/conf/on/hdfs")))

val conf: Config = ConfigFactory.parseReader(reader)

您也可以将名称节点的 URI 传递给 FileSystem.get(new URI("your_uri_here"))，代码仍会读取您的配置。

如何将托管在 HDFS 中的配置文件传递给 Spark 应用程序？

How to pass configuration file that hosted in HDFS to Spark Application?

configuration

hadoop

apache-spark

apache-spark-sql

spark-structured-streaming