Kafka 主题在消息上没有重复
Kafka topic have no duplication on messages
kafka主题中的消息如何实现这样的结果?
即类似于更新日志的功能 - 有多条消息进入主题,但我只关心最后一条进入的消息。
另外案例主题被分区会发生什么?
卡夫卡可以吗?
为此,您应该将此主题的 cleanup.policy
设置为 compact
,如下所示:
创建主题:
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1 --replication-factor 1 --config cleanup.policy=compact
更新主题:
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --add-config cleanup.policy=compact
设置了 compact
策略后,您必须为每条消息分配一个密钥,Kafka 生产者将根据该密钥对消息进行分区。
kafka主题中的消息如何实现这样的结果?
即类似于更新日志的功能 - 有多条消息进入主题,但我只关心最后一条进入的消息。
另外案例主题被分区会发生什么?
卡夫卡可以吗?
为此,您应该将此主题的 cleanup.policy
设置为 compact
,如下所示:
创建主题:
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1 --replication-factor 1 --config cleanup.policy=compact
更新主题:
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --add-config cleanup.policy=compact
设置了 compact
策略后,您必须为每条消息分配一个密钥,Kafka 生产者将根据该密钥对消息进行分区。