kafka producer 在 Java 中阅读来自维基百科的事件
kafka producer reading events from wikipedia in Java
我对 Kafka 很陌生,作为我的第一个项目之一,我正在尝试在 Java 中创建一个 kafka 生产者,它将读取来自 Wikipedia/Wikimedia 和 post 的事件他们到相关主题。
我正在 https://wikitech.wikimedia.org/wiki/Event_Platform/EventStreams and https://stream.wikimedia.org/v2/ui/#/ 寻找维基百科上的参考资料 API。
我遵循了 Java 中创建 Kafka 生产者的基本指南,但它们主要依赖于在我的机器上本地创建的事件。
在查看从远程服务器读取事件的解决方案时,我发现它们使用的库不是 kafka 原生的(例如 spring.io)。
有没有办法使用作为 kafka 安装包一部分的本地 Kafka 库来设置我的生产者?
Spring 只是包装了原生的 Kafka 库以简化开发和配置。这不是必需的,所以,是的,您基本上可以像他们一样做,但开销更少。
mainly rely on events created locally on my machine
因为这样更容易演示,而且还有实现细节。如果您从远程服务器拉取数据,那么该数据在某些时候会变成“本地”in-memory 数据结构。
我对 Kafka 很陌生,作为我的第一个项目之一,我正在尝试在 Java 中创建一个 kafka 生产者,它将读取来自 Wikipedia/Wikimedia 和 post 的事件他们到相关主题。
我正在 https://wikitech.wikimedia.org/wiki/Event_Platform/EventStreams and https://stream.wikimedia.org/v2/ui/#/ 寻找维基百科上的参考资料 API。
我遵循了 Java 中创建 Kafka 生产者的基本指南,但它们主要依赖于在我的机器上本地创建的事件。
在查看从远程服务器读取事件的解决方案时,我发现它们使用的库不是 kafka 原生的(例如 spring.io)。
有没有办法使用作为 kafka 安装包一部分的本地 Kafka 库来设置我的生产者?
Spring 只是包装了原生的 Kafka 库以简化开发和配置。这不是必需的,所以,是的,您基本上可以像他们一样做,但开销更少。
mainly rely on events created locally on my machine
因为这样更容易演示,而且还有实现细节。如果您从远程服务器拉取数据,那么该数据在某些时候会变成“本地”in-memory 数据结构。