在 Flink 中广播 "JOIN"

Question

有什么方法可以像在 SPARK 中一样在 FLINK 中使用 Broadcast Join。我正在使用 JOINS，但数据很大，所以我需要 Broadcast Join。

谢谢

Answer 1

Flink 不像 Spark 那样提供广播连接。使用 BroadcastProcessFunction 自己实现一个非常容易，但我想知道它是否真的合适。仅当两个流之一相当小时广播连接才有意义，否则键分区连接更有意义。

要实现这一点，请广播较小的模式流并将其连接到事件流。在 BroadcastProcessFunction 的 processBroadcastElement 方法中，存储新模式，并在 processElement 方法中查找相关模式并将其与正在处理的事件结合。