如何设置 Spark 执行器内存？
How to set Spark executor memory?
我已经将spark.executor.memory设置为2048m，并且在UI"Environment"页面，我可以看到此值已正确设置。但是在"Executors"页面，我看到只有1个executor，它的内存是265.4MB。很奇怪的值。为什么不是 256MB，还是和我设置的一样？
我在这里错过了什么？
UI 上的 "Executors" 选项卡还包括列表中的驱动程序。它的 "executor ID" 列为 <driver>。这个进程不是Spark启动的，所以不受spark.executor.memory.
的影响
- 如果你用
spark-submit启动驱动，它的最大内存可以由spark.driver.memory或--driver-memory 控制
- 如果您将它作为普通的旧 Java 程序启动，请使用通常的
-Xmx Java 标志。
265.4MB内存大小请看下面的问题...
How to set Apache Spark Executor memory
我已经将spark.executor.memory设置为2048m，并且在UI"Environment"页面，我可以看到此值已正确设置。但是在"Executors"页面，我看到只有1个executor，它的内存是265.4MB。很奇怪的值。为什么不是 256MB，还是和我设置的一样？
我在这里错过了什么？
UI 上的 "Executors" 选项卡还包括列表中的驱动程序。它的 "executor ID" 列为 <driver>。这个进程不是Spark启动的，所以不受spark.executor.memory.
- 如果你用
spark-submit启动驱动，它的最大内存可以由spark.driver.memory或--driver-memory控制
- 如果您将它作为普通的旧 Java 程序启动，请使用通常的
-XmxJava 标志。
265.4MB内存大小请看下面的问题...
How to set Apache Spark Executor memory