如何在 WriteKafkaP 中插入自定义分区逻辑?
How do I plug custom partition logic in WriteKafkaP?
我在 Jet 作业中使用 WriteKafaP
顶点。有没有办法在发布到 Kafka 主题时插入自定义分区逻辑?
在0.4中,可以使用custom Kafka partitioner configuration。在 0.5 中,我们添加了将项目直接映射到 ProducerRecord
的功能。
例如:
Vertex v = new Vertex("kafkaSink", KafkaProcessors.writeKafkaP(properties, o -> new ProducerRecord(topic, partition, key, value));
我在 Jet 作业中使用 WriteKafaP
顶点。有没有办法在发布到 Kafka 主题时插入自定义分区逻辑?
在0.4中,可以使用custom Kafka partitioner configuration。在 0.5 中,我们添加了将项目直接映射到 ProducerRecord
的功能。
例如:
Vertex v = new Vertex("kafkaSink", KafkaProcessors.writeKafkaP(properties, o -> new ProducerRecord(topic, partition, key, value));