如何使用 Kafka 镜像制造商复制模式?

How to replicate schema with Kafka mirror maker?

我们正在使用镜像制作器来同步本地和 AWS Kafka 主题。如何在其他集群(本例中为 AWS)中完全相同地复制一个主题及其在本地注册的架构? 如何使用 mirror maker 复制 Avro 模式?

MirrorMaker 只复制字节数组,不复制模式。并且不关心数据的格式

从 Confluent 4.x 或更高版本开始,只要您的目标注册表可以查找 GET /schemas/ids/(number) 相同的模式 ID,这应该无关紧要,因为这是反序列化程序拾取的端点

您也可以镜像 _schemas 主题,正如 Confluent 在使用 Confluent Replicator 时所推荐的那样

如果您绝对需要 one-to-one 模式复制,您需要实现一个 MessageHandler 接口,并将其传递给 MirrorMaker 命令,以获取和 post 模式,类似于我添加到这个 Kafka Connect 插件的内部逻辑(你可以使用 Connect 而不是 MirrorMaker)。 https://github.com/cricket007/schema-registry-transfer-smt