Select 个 Flink DataStream 执行的节点
Select node for a Flink DataStream execution
我搜索了很多,但没有找到解决方案。
假设流处理中的某些步骤必须仅在可用 nodes/taskmanagers 的子集中执行,而其余任务可在任何地方自由计算。
¿如何分配仅在节点子集中执行的 DataStream?
这主要是 input/sink 任务所必需的,因为并非集群中的每个节点都具有相同的连接性/安全限制。
我是 flink 的新手,如果我问的问题很明显,请原谅我。
非常感谢。
正如线程 [1] 中所解释的那样:在 "DataStream Level" 上实现此目标并非完全可能,但在 "Job Level".
上实现
正如 Vino Yang [1] 在 Flink 1.6 over Yarn 中所解释的那样,我们可以为作业 [2] 设置标签并为我们的作业获取一些 "allocability control",但是 "low-level" 是可能的任务。
感谢维诺分享他的知识。
我搜索了很多,但没有找到解决方案。
假设流处理中的某些步骤必须仅在可用 nodes/taskmanagers 的子集中执行,而其余任务可在任何地方自由计算。
¿如何分配仅在节点子集中执行的 DataStream?
这主要是 input/sink 任务所必需的,因为并非集群中的每个节点都具有相同的连接性/安全限制。
我是 flink 的新手,如果我问的问题很明显,请原谅我。
非常感谢。
正如线程 [1] 中所解释的那样:在 "DataStream Level" 上实现此目标并非完全可能,但在 "Job Level".
上实现正如 Vino Yang [1] 在 Flink 1.6 over Yarn 中所解释的那样,我们可以为作业 [2] 设置标签并为我们的作业获取一些 "allocability control",但是 "low-level" 是可能的任务。
感谢维诺分享他的知识。