用于 Kafka 到 HDFS 的 Kafka Stream
Kafka Stream for Kafka to HDFS
我有一个 Flink 作业，它从 Kafka 主题读取数据并将其写入 HDFS。检查点存在一些问题，例如，在停止 Flink Job 后，一些文件仍处于挂起模式，以及写入 HDFS 的检查点也存在其他问题。
我想为 Kafka 到 HDFS 的相同类型的管道尝试 Kafka Streams。我发现了下一个问题 - https://github.com/confluentinc/kafka-connect-hdfs/issues/365
你能告诉我如何解决吗？
你能告诉我 Kafka Streams 在哪里保存文件以供恢复吗？
Kafka Streams 仅在同一集群的主题之间交互，不与外部系统交互。
Kafka Connect HDFS2 连接器在内部偏移量主题中维护偏移量。它的旧版本在文件名中维护偏移量并使用预写日志来确保文件传递
我有一个 Flink 作业，它从 Kafka 主题读取数据并将其写入 HDFS。检查点存在一些问题，例如，在停止 Flink Job 后，一些文件仍处于挂起模式，以及写入 HDFS 的检查点也存在其他问题。 我想为 Kafka 到 HDFS 的相同类型的管道尝试 Kafka Streams。我发现了下一个问题 - https://github.com/confluentinc/kafka-connect-hdfs/issues/365 你能告诉我如何解决吗？ 你能告诉我 Kafka Streams 在哪里保存文件以供恢复吗？
Kafka Streams 仅在同一集群的主题之间交互，不与外部系统交互。
Kafka Connect HDFS2 连接器在内部偏移量主题中维护偏移量。它的旧版本在文件名中维护偏移量并使用预写日志来确保文件传递