Flink 用处理时间丰富传入数据
Flink enrichment incoming data with processing time
为了调试我们的应用程序,我们将所有传入数据(s3 接收器)保存在图形的单独部分(甚至在 timestamping/watermarking 进程之前)。
我们的数据已经包含了timestamp(事件时间戳),在保存数据之前,我们想再添加一个字段,其中会有消息真正进入flink的时间戳(一种处理时间)。
怎么做最好?也许 flink 为此提供了一个特殊的 API
现在我们做的很简单 new Date().getTime
这有时称为 摄取时间 ,顺便说一下。你要靠自己来实现它; Flink 没有任何内置的东西。你做的好像还不错。
为了调试我们的应用程序,我们将所有传入数据(s3 接收器)保存在图形的单独部分(甚至在 timestamping/watermarking 进程之前)。 我们的数据已经包含了timestamp(事件时间戳),在保存数据之前,我们想再添加一个字段,其中会有消息真正进入flink的时间戳(一种处理时间)。
怎么做最好?也许 flink 为此提供了一个特殊的 API
现在我们做的很简单 new Date().getTime
这有时称为 摄取时间 ,顺便说一下。你要靠自己来实现它; Flink 没有任何内置的东西。你做的好像还不错。