Databricks 如何在协作集群中管理 Spark Session？
How Databricks manages Spark Sessions in a colaborative cluster?
假设我们有几个人以协作的方式在 Databricks 集群上工作。 Spark 上下文和 Spark 会话在后台发生。
他们是否默认共享同一个 Spark 会话？
默认启用 Spark 会话隔离。用户可以通过将 spark.databricks.session.share 设置为 true
来禁用会话隔离
您可以在高级集群选项中的 Spark 配置中设置它：
假设我们有几个人以协作的方式在 Databricks 集群上工作。 Spark 上下文和 Spark 会话在后台发生。
他们是否默认共享同一个 Spark 会话？
默认启用 Spark 会话隔离。用户可以通过将 spark.databricks.session.share 设置为 true
您可以在高级集群选项中的 Spark 配置中设置它：