Java 中的 Kafka 无密钥生产者

Question

我是 kafka 生态系统的新手，在我的例子中，我使用的是 Java 生产者，但不需要发送密钥以及序列化 Avro 的记录值。有没有办法构建一个 Java Producer 来不发送密钥，或者在 Kafka 中发送消息时是否需要密钥？

Answer 1

ProducerRecord 有several constructors，其中一个没有键值，所以你不必指明它。

示例：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
for(int i = 0; i < 100; i++)
    producer.send(new ProducerRecord<>("my-topic", "myValue"));

producer.close();

Answer 2

就像@gasparms 所说的那样，有内置的方法可以在不发送密钥的情况下生成。大多数人都以这种方式使用 Kafka，因为他们只是希望能够在没有密钥的情况下发送消息流。只有在需要 log compaction

时才真正需要使用密钥

这里有一个很好的解释 -

Java 中的 Kafka 无密钥生产者

Kafka Keyless Producer In Java

apache-kafka

kafka-producer-api