如何在 flink 流中动态序列化参数

Question

我有一个参数params要在flink streaming中序列化，

class P extend Serializable {...}

val params = new P(...)
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.addSource(new MySource(params))
   .map(new MyMap(params))
   .addSink(new MySink(params))
env.setParallelism(1)
env.execute("My Job")

但是驱动程序节点中的参数会发生变化，我需要在作业运行期间将 params 更新为执行程序。是否可以基于 flink streaming job 的不停？

Answer 1

简而言之，答案是否定的。因为每次新记录到来时，您的 UDF 都需要 [反] 序列化参数，这会减慢执行速度。

但是，您可以通过扩展 AbstractUdfStreamOperator and call it in a transform operation . I did one example here: "Implementing my own stream operator in Flink to deal with data skew".

来实现自己的流运算符

然后由操作员决定何时读取新参数。例如，只需创建一个计划为每 10 分钟一次的新线程。参数文件必须放置在操作员将运行.

的所有节点上

如何在 flink 流中动态序列化参数

How to dynamic serialize parameter in flink streaming

apache-flink

flink-streaming