如何在集群模式下将 apache spark 配置设置为 运行 作为数据块作业
How to set apache spark config to run in cluster mode as a databricks job
我开发了一个 Apache Spark 应用程序，将其编译成一个 jar，我想 运行 它作为 Databricks 作业。到目前为止，我一直在设置 master=local 进行测试。在数据块的集群模式下，我应该在 spark 配置中将此 属性 或其他设置为 运行 什么。请注意，我没有在 Databricks 中创建集群，我只有一份按需 运行 的工作，所以我没有主节点的 url。
对于数据块作业，您不需要将 master 设置为任何内容。
您需要执行以下操作：
val spark = SparkSession.builder().getOrCreate()
我开发了一个 Apache Spark 应用程序，将其编译成一个 jar，我想 运行 它作为 Databricks 作业。到目前为止，我一直在设置 master=local 进行测试。在数据块的集群模式下，我应该在 spark 配置中将此 属性 或其他设置为 运行 什么。请注意，我没有在 Databricks 中创建集群，我只有一份按需 运行 的工作，所以我没有主节点的 url。
对于数据块作业，您不需要将 master 设置为任何内容。
您需要执行以下操作：
val spark = SparkSession.builder().getOrCreate()