如何在 Azure Data Factory Linked 服务中设置 spark executor 内存
How to set spark executor memory in the Azure Data Factory Linked service
由于 Spark 内存不足问题，我的 Spark Scala 代码失败了。我是 运行 来自 ADF 管道的代码。在 Databricks 集群中，执行器内存设置为 4g。我想在 ADF 级别更改此值，而不是在集群级别更改它。在创建链接服务时，我们有额外的集群设置，我们可以在其中定义集群 spark 配置。请在下面找到。有人可以让我知道如何在 ADF 的链接服务中设置 spark 执行程序内存。
谢谢。
添加 Name = spark.executor.memory 和 Value = 6g
监控核心配置设置以确保您的 Spark 作业 运行 以可预测和高性能的方式进行。这些设置有助于确定适合您的特定工作负载的最佳 Spark 集群配置。
另请参阅 - https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-settings
由于 Spark 内存不足问题，我的 Spark Scala 代码失败了。我是 运行 来自 ADF 管道的代码。在 Databricks 集群中，执行器内存设置为 4g。我想在 ADF 级别更改此值，而不是在集群级别更改它。在创建链接服务时，我们有额外的集群设置，我们可以在其中定义集群 spark 配置。请在下面找到。有人可以让我知道如何在 ADF 的链接服务中设置 spark 执行程序内存。 谢谢。
添加 Name = spark.executor.memory 和 Value = 6g
监控核心配置设置以确保您的 Spark 作业 运行 以可预测和高性能的方式进行。这些设置有助于确定适合您的特定工作负载的最佳 Spark 集群配置。
另请参阅 - https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-settings