是否有关于创建 Kafka 接收器或源插件的 documentation/blog/example?
Is there a documentation/blog/example on creating Kafka sink or source plugins?
我们正计划为 Apache Kafka 创建我们自己的连接器(接收器或源插件)存储库,例如 here
我们尝试搜索有关如何为 Kafka 创建插件 jar 的文档或帮助。
official documentation 中没有提到从 apache Kafka 开发插件。
任何帮助或指示都会有所帮助,开发完成后可以与开放社区分享。
上的指南
开发一个连接器只需要实现两个接口,Connector 和 Task
请参阅 example source code 以获取简单示例的完整示例
一旦你开发并测试了你的连接器,你必须打包它以便它可以很容易地安装到 Kafka Connect 安装中。这里描述的两种技术都适用于 Kafka Connect 的插件路径机制。
如果您计划打包您的连接器并将其分发给其他人使用,您有义务正确许可和保护您自己的代码,并遵守您的代码使用的所有库的许可和版权,以及您包含在你的分布。
创建存档
打包连接器的最常见方法是创建 tarball 或 ZIP 存档。存档应包含一个目录,其名称相对于其他连接器实现而言是唯一的,因此通常会包含连接器的名称和版本。连接器所需的所有 JAR 文件和其他资源文件(包括第三方库)都应放在该顶级目录中。但是请注意,存档不应包含 Kafka Connect API 或运行时库。
要安装连接器,用户只需将存档解压缩到所需位置即可。使存档的顶级目录的名称是唯一的,可以更轻松地解压缩存档而不覆盖现有文件。它还可以很容易地将此目录放在安装连接插件或旧的 Kafka 连接安装上,以将 JAR 添加到 CLASSPATH。
创建优步 JAR
另一种方法是创建一个超级 JAR,其中包含所有连接器的 JAR 文件和其他资源文件。不需要目录内部结构。
要安装,用户只需将连接器的超级 JAR 放入安装连接插件中列出的目录之一。
我们正计划为 Apache Kafka 创建我们自己的连接器(接收器或源插件)存储库,例如 here
我们尝试搜索有关如何为 Kafka 创建插件 jar 的文档或帮助。
official documentation 中没有提到从 apache Kafka 开发插件。
任何帮助或指示都会有所帮助,开发完成后可以与开放社区分享。
开发一个连接器只需要实现两个接口,Connector 和 Task
请参阅 example source code 以获取简单示例的完整示例
一旦你开发并测试了你的连接器,你必须打包它以便它可以很容易地安装到 Kafka Connect 安装中。这里描述的两种技术都适用于 Kafka Connect 的插件路径机制。
如果您计划打包您的连接器并将其分发给其他人使用,您有义务正确许可和保护您自己的代码,并遵守您的代码使用的所有库的许可和版权,以及您包含在你的分布。
创建存档 打包连接器的最常见方法是创建 tarball 或 ZIP 存档。存档应包含一个目录,其名称相对于其他连接器实现而言是唯一的,因此通常会包含连接器的名称和版本。连接器所需的所有 JAR 文件和其他资源文件(包括第三方库)都应放在该顶级目录中。但是请注意,存档不应包含 Kafka Connect API 或运行时库。
要安装连接器,用户只需将存档解压缩到所需位置即可。使存档的顶级目录的名称是唯一的,可以更轻松地解压缩存档而不覆盖现有文件。它还可以很容易地将此目录放在安装连接插件或旧的 Kafka 连接安装上,以将 JAR 添加到 CLASSPATH。
创建优步 JAR 另一种方法是创建一个超级 JAR,其中包含所有连接器的 JAR 文件和其他资源文件。不需要目录内部结构。
要安装,用户只需将连接器的超级 JAR 放入安装连接插件中列出的目录之一。