Flink:Jobmanager UI 中设置的并行度与任务槽有何关系?
Flink: how does the parallelism set in the Jobmanager UI relate to task slots?
假设我有 8 个任务管理器和 16 个任务槽。如果我使用 Jobmanager UI 提交作业并将并行度设置为 8,我是否只使用 8 个任务槽?
如果我有 8 个任务管理器和 8 个槽,并以 8 的并行度提交相同的作业怎么办?是一回事吗?还是数据处理方式有区别?
谢谢。
一个Flink集群中任务槽的总数定义了最大并行度,但是使用的槽数可能会超过实际的并行度。例如,考虑这份工作:
如果运行在具有 2 个任务管理器的集群中具有两个并行度,每个任务管理器提供 3 个槽,调度程序将使用 5 个任务槽,如下所示:
但是,如果基本并行度增加到 6,则调度程序将执行此操作(请注意,在此示例中,接收器保持并行度为 1):
有关详细信息,请参阅 Flink's Distributed Runtime Environment。
假设我有 8 个任务管理器和 16 个任务槽。如果我使用 Jobmanager UI 提交作业并将并行度设置为 8,我是否只使用 8 个任务槽?
如果我有 8 个任务管理器和 8 个槽,并以 8 的并行度提交相同的作业怎么办?是一回事吗?还是数据处理方式有区别?
谢谢。
一个Flink集群中任务槽的总数定义了最大并行度,但是使用的槽数可能会超过实际的并行度。例如,考虑这份工作:
如果运行在具有 2 个任务管理器的集群中具有两个并行度,每个任务管理器提供 3 个槽,调度程序将使用 5 个任务槽,如下所示:
但是,如果基本并行度增加到 6,则调度程序将执行此操作(请注意,在此示例中,接收器保持并行度为 1):
有关详细信息,请参阅 Flink's Distributed Runtime Environment。