是否有关于创建 Kafka 接收器或源插件的 documentation/blog/example?

Is there a documentation/blog/example on creating Kafka sink or source plugins?

我们正计划为 Apache Kafka 创建我们自己的连接器(接收器或源插件)存储库,例如 here

我们尝试搜索有关如何为 Kafka 创建插件 jar 的文档或帮助。

official documentation 中没有提到从 apache Kafka 开发插件。

任何帮助或指示都会有所帮助,开发完成后可以与开放社区分享。

这是 How to Build a Connector

上的指南

还有一个Connector Developer Guide

开发一个连接器只需要实现两个接口,Connector 和 Task

请参阅 example source code 以获取简单示例的完整示例

一旦你开发并测试了你的连接器,你必须打包它以便它可以很容易地安装到 Kafka Connect 安装中。这里描述的两种技术都适用于 Kafka Connect 的插件路径机制。

如果您计划打包您的连接器并将其分发给其他人使用,您有义务正确许可和保护您自己的代码,并遵守您的代码使用的所有库的许可和版权,以及您包含在你的分布。

创建存档 打包连接器的最常见方法是创建 tarball 或 ZIP 存档。存档应包含一个目录,其名称相对于其他连接器实现而言是唯一的,因此通常会包含连接器的名称和版本。连接器所需的所有 JAR 文件和其他资源文件(包括第三方库)都应放在该顶级目录中。但是请注意,存档不应包含 Kafka Connect API 或运行时库。

要安装连接器,用户只需将存档解压缩到所需位置即可。使存档的顶级目录的名称是唯一的,可以更轻松地解压缩存档而不覆盖现有文件。它还可以很容易地将此​​目录放在安装连接插件或旧的 Kafka 连接安装上,以将 JAR 添加到 CLASSPATH。

创建优步 JAR 另一种方法是创建一个超级 JAR,其中包含所有连接器的 JAR 文件和其他资源文件。不需要目录内部结构。

要安装,用户只需将连接器的超级 JAR 放入安装连接插件中列出的目录之一。