Select 个 Flink DataStream 执行的节点

Select node for a Flink DataStream execution

我搜索了很多,但没有找到解决方案。

假设流处理中的某些步骤必须仅在可用 nodes/taskmanagers 的子集中执行,而其余任务可在任何地方自由计算。

¿如何分配仅在节点子集中执行的 DataStream?

这主要是 input/sink 任务所必需的,因为并非集群中的每个节点都具有相同的连接性/安全限制。

我是 flink 的新手,如果我问的问题很明显,请原谅我。

非常感谢。

正如线程 [1] 中所解释的那样:在 "DataStream Level" 上实现此目标并非完全可能,但在 "Job Level".

上实现

正如 Vino Yang [1] 在 Flink 1.6 over Yarn 中所解释的那样,我们可以为作业 [2] 设置标签并为我们的作业获取一些 "allocability control",但是 "low-level" 是可能的任务。

感谢维诺分享他的知识。

[1] http://mail-archives.apache.org/mod_mbox/flink-user/201808.mbox/%3C1534090580.7952.107.camel@uam.es%3E

[2] https://issues.apache.org/jira/browse/FLINK-7836