将 flink 数据持久化到 mongo
persisting flink data to mongo
我有一个 flink 数据流,我正在使用 KeyedProcessFunction 对其进行一些处理,然后我需要在处理后将数据保存在 MongoDB 中,但我不能这样做。
任何人都可以提供一些关于如何将数据从 flink 数据流保存到 Mongo 的输入。
MongoDB 不支持作为 Flink 的接收器,社区中也没有人在 https://flink-packages.org/.
中为它贡献一个包
这意味着您可能必须编写自己的接收器,除非您能在某个地方找到合适的东西。
如果您需要支持事务,使用 Flink 1.12 实现处理此事务的接收器变得更容易一些。 FLIP-143: Unified Sink API.
中对此进行了描述
我有一个 flink 数据流,我正在使用 KeyedProcessFunction 对其进行一些处理,然后我需要在处理后将数据保存在 MongoDB 中,但我不能这样做。 任何人都可以提供一些关于如何将数据从 flink 数据流保存到 Mongo 的输入。
MongoDB 不支持作为 Flink 的接收器,社区中也没有人在 https://flink-packages.org/.
中为它贡献一个包这意味着您可能必须编写自己的接收器,除非您能在某个地方找到合适的东西。
如果您需要支持事务,使用 Flink 1.12 实现处理此事务的接收器变得更容易一些。 FLIP-143: Unified Sink API.
中对此进行了描述