Flink non-keyed window 并行度大于 1

Question

我正在使用 FlinkKafkaConsumer(...) 使用超过 50 个分区的 Kafka 主题。我想为这些分区创建 windows。但是，我不希望有任何改组，所以我不能使用 DataStream.keyBy(...)。如果我调用 DataStream.windowAll(...)，并行度将为 1，这也不是我所期望的。

那么有什么方法可以同时保持高并行度和无数据混洗？

谢谢

Answer 1

如果不使用 keyBy，您的选择将变得相当有限。您可以使用（非键控）ProcessFunction 实现某种并行窗口，但您无法访问计时器或键控状态，只能访问 operator state.