Apache spark 1.2.1 独立集群中的剂量，'number of executors equals to number of SPARK_WORKER_INSTANCES'？

Question

Apache spark 1.2.1 独立集群中的剂量，'number of executors equals to the number of SPARK_WORKER_INSTANCES' ?

I have done below setting in conf/spark-env.sh

SPARK_EXECUTOR_CORES=4
SPARK_NUM_EXECUTORS=3
SPARK_EXECUTOR_MEMORY=2G

如果没有，谁能告诉我如何增加独立集群中的执行程序数量？

提前致谢。

Answer 1

在独立模式下，执行器总数等于集群中工作器总数。

SPARK_WORKER_INSTANCES=2 in spark-env.sh 代表你希望每个slave上有2个worker进程。假设你有 n 个奴隶，你会有 2n 个工人，因此，每个工作有 2n 个执行者。

SPARK_NUM_EXECUTORS 不是有效设置。