有没有办法在 AWS Glue 中将多个 --conf 设置为作业参数？
Is there a way to set multiple --conf as job parametet in AWS Glue?
我正在尝试在我的 Glue 作业中配置 spark。当我尝试在 'Edit job'、'Job Parameters' 中将它们作为键和值对（例如键：--conf 值：spark.executor.memory=10g）一一输入时，它起作用了，但是当我尝试时将它们放在一起（由 space 或逗号分隔），会导致错误。我也尝试使用 sc._conf.setAll 但 Glue 忽略了配置并坚持使用其默认值。有没有办法用 Spark 2.4 做到这一点？
是的，您可以传递多个参数，如下所示：
密钥： --conf
值： spark.yarn.executor.memoryOverhead=7g --conf spark.yarn.executor.memory=7g
我正在尝试在我的 Glue 作业中配置 spark。当我尝试在 'Edit job'、'Job Parameters' 中将它们作为键和值对（例如键：--conf 值：spark.executor.memory=10g）一一输入时，它起作用了，但是当我尝试时将它们放在一起（由 space 或逗号分隔），会导致错误。我也尝试使用 sc._conf.setAll 但 Glue 忽略了配置并坚持使用其默认值。有没有办法用 Spark 2.4 做到这一点？
是的，您可以传递多个参数，如下所示：
密钥： --conf
值： spark.yarn.executor.memoryOverhead=7g --conf spark.yarn.executor.memory=7g