aws 集群中的核心
Cores in a aws cluster
我使用的是 10 核 r4.8xlarge 集群。 AWS 文档 https://aws.amazon.com/ec2/virtualcores/ 说 r4.8xlarge 的每个 EC2 实例类型都包含一个 16 的虚拟核心数。问题 1。这是否意味着有 160 个并行核心（每个执行程序 16 个核心。我还问，是一个核心=一个火花执行者）？ Q2。 Spark 文档说
The number of cores allocated to the Spark Streaming application must be more than the number of receivers. Otherwise the system will receive data, but not be able to process it.
Q2。如果我要为我的火花流作业创建 15 个接收器，我应该设置我的 spark.executor.cores = 15 或更高。或者我应该将集群的总核心数从 10 增加到 15？
我使用的是 10 核 r4.8xlarge 集群。 AWS 文档 https://aws.amazon.com/ec2/virtualcores/ 说 r4.8xlarge 的每个 EC2 实例类型都包含一个 16 的虚拟核心数。问题 1。这是否意味着有 160 个并行核心（每个执行程序 16 个核心。我还问，是一个核心=一个火花执行者）？ Q2。 Spark 文档说
The number of cores allocated to the Spark Streaming application must be more than the number of receivers. Otherwise the system will receive data, but not be able to process it.
Q2。如果我要为我的火花流作业创建 15 个接收器，我应该设置我的 spark.executor.cores = 15 或更高。或者我应该将集群的总核心数从 10 增加到 15？