可以使用命名参数进行 spark-submit 吗？

Question

我知道我可以通过

将参数传递给主函数

spark-submit com.xxx.test 1 2

并通过以下方式获取参数：

def main(args: Array[String]): Unit = {
    // 读取参数
    var city = args(0)
    var num = args(1)

但我想知道是否有传递命名参数的路径，例如：

spark-submit com.xxx.test --citys=1 --num=2

以及如何在 main.scala 中获取此命名参数？

Answer 1

您可以编写自己的自定义 class，它根据如下所示的键解析输入参数：

object CommandLineUtil {

  def getOpts(args: Array[String], usage: String): collection.mutable.Map[String, String] = {
    if (args.length == 0) {
      log.warn(usage)
      System.exit(1)
    }

    val (opts, vals) = args.partition {
      _.startsWith("-")
    }

    val optsMap = collection.mutable.Map[String, String]()
    opts.map { x =>
      val pair = x.split("=")
      if (pair.length == 2) {
        optsMap += (pair(0).split("-{1,2}")(1) -> pair(1))
      } else {
        log.warn(usage)
        System.exit(1)
      }
    }

    optsMap
  }
}

然后您可以在您的 spark 应用程序中使用这些方法

val usage = "Usage:  [--citys] [--num]"
val optsMap = CommandLineUtil.getOpts(args, usage)
val citysValue = optsMap("citys")
val numValue = optsMap("num")

您可以根据自己的要求即兴创作CommandLineUtil

Answer 2

没有

正如您在 Documentation 中所读到的，您只需传递应用程序的参数，然后处理它们。

所以，如果您想要 "named arguments"，那么您应该在您的代码中实现它（我的意思是它将是自定义的）。

可以使用命名参数进行 spark-submit 吗？

Can spark-submit with named argument?

scala

distributed-computing

apache-spark