Apache Flume Kafka Producer - 动态生成 partition_id/key

Question

我的任务是使用 Apache Flume 将消息发送到 Kafka 主题。需要注意的是，我必须根据邮件中的 IP 地址指定分区。

有没有办法配置 Apache Flume 以动态执行此操作，或者我是否必须实施自定义 Producer 插件？

谢谢。

Answer 1

经过一些研究，配置生产者的唯一真正的自定义方法是自己滚动。

我实现了 AbstractSink 接口并放入了我自己的哈希算法来生成一个分区来发送消息。