Kafka 数据流 ID

Question

我是 Kafka 的新手，正在尝试为我的 apache httpd 日志构建一个管道到 mongodb。

我有使用 Kafka Output 从 Filebeat 生成的数据。然后我使用 Kstreams 从主题和 mapValues 中读取数据并流出到不同的主题。然后使用 Kafka Connect 将数据下沉到数据库 (MongoDB)。不幸的是，我来自 Filebeat 的数据没有 ID。

如何为它们创建 ID，因为我想创建一个唯一的 ID 并将其插入到文档中，然后再将其下沉到 mongodb？我希望这可以发生在 mapValues 转换中；

Answer 1

我认为您可以结合使用分区和偏移量来为每条消息创建一个唯一的 ID。如果您想让主题在各个主题中独一无二，您可能需要添加主题。