Apache Flink 的分布式运行时是如何管理内存的?
How is memory managed in distributed runtime in Apache Flink?
我们正在构建一个基于 Apache Flink 的数据流处理应用程序 Java 8. 我们需要维护一个状态完整的对象列表,这些对象的特征通过源流每十秒更新一次。
根据规范,我们必须尽可能不使用分布式存储。所以,我的问题是关于 Flink 的内存管理器:在集群配置中,它是否复制任务管理器使用的内存?或者有什么方法可以使用 Flink 的分布式内存解决方案?
看看 Flink state。通过这种方式,您可以将其存储在 flink 的状态中,该状态将与 checkpointing/savepointing 等内部机制集成
如果您需要从其他服务外部查询它,queryable state 可能是一个很好的补充。
我们正在构建一个基于 Apache Flink 的数据流处理应用程序 Java 8. 我们需要维护一个状态完整的对象列表,这些对象的特征通过源流每十秒更新一次。
根据规范,我们必须尽可能不使用分布式存储。所以,我的问题是关于 Flink 的内存管理器:在集群配置中,它是否复制任务管理器使用的内存?或者有什么方法可以使用 Flink 的分布式内存解决方案?
看看 Flink state。通过这种方式,您可以将其存储在 flink 的状态中,该状态将与 checkpointing/savepointing 等内部机制集成
如果您需要从其他服务外部查询它,queryable state 可能是一个很好的补充。