如何在 Kafka 中对 topics/partitions 进行分类？

Question

例如，用户可以订阅特定类别的电影。

当一部新电影在 Kafka 上映时，我必须将相关信息发送给订阅该电影类别的消费者。

这个怎么分类？使用分区或主题？因为类别可以超过1000。

Answer 1

只需创建一个至少包含 userID 和 categoryID 的主题 user-subscriptions。对于每个订阅，请确保为同一用户创建不同的记录。例如，

{"subscriptionID": 1, "userID": 1, "categoryID": 100}
{"subscriptionID": 2, "userID": 1, "categoryID": 26}
...

---

现在确保按 categoryID 对这个主题进行分区，以便将同一类别的记录放在同一分区中。

现在，一旦您的应用程序识别出特定类别的新电影，您只需浏览保存该类别所有订阅的分区的记录，并在消费时使用userID。