kafka producer 在 Java 中阅读来自维基百科的事件

kafka producer reading events from wikipedia in Java

我对 Kafka 很陌生,作为我的第一个项目之一,我正在尝试在 Java 中创建一个 kafka 生产者,它将读取来自 Wikipedia/Wikimedia 和 post 的事件他们到相关主题。

我正在 https://wikitech.wikimedia.org/wiki/Event_Platform/EventStreams and https://stream.wikimedia.org/v2/ui/#/ 寻找维基百科上的参考资料 API。

我遵循了 Java 中创建 Kafka 生产者的基本指南,但它们主要依赖于在我的机器上本地创建的事件。

在查看从远程服务器读取事件的解决方案时,我发现它们使用的库不是 kafka 原生的(例如 spring.io)。

有没有办法使用作为 kafka 安装包一部分的本地 Kafka 库来设置我的生产者?

Spring 只是包装了原生的 Kafka 库以简化开发和配置。这不是必需的,所以,是的,您基本上可以像他们一样做,但开销更少。

mainly rely on events created locally on my machine

因为这样更容易演示,而且还有实现细节。如果您从远程服务器拉取数据,那么该数据在某些时候会变成“本地”in-memory 数据结构。