flink taskmanager 因 OOM 而失败

Question

有一个监听 kafka 主题的 flink 作业，所有的工作就是监听 kafka 并将消息插入弹性搜索。作业不断失败，其中一个任务管理器出现 OOM。

我在 3GB 内存的 kubernetes 中使用 flink docker。但我在 taskmanager 日志中看到失败。我没有使用任何特殊功能只是听和写弹性。

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "I/O dispatcher 2945"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "pool-1170-thread-1"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "I/O dispatcher 5441"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "I/O dispatcher 2467"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "pool-3944-thread-1"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "pool-2651-thread-1"

Answer 1

@谢谢 Arvid，我们仔细研究了日志，发现 ES 在修复它并使用 rocksDB 作为后端状态后泄漏了一个连接代码问题，我们 运行 顺利地打开了增量检查点。