如何使用 Kafka 镜像制造商复制模式?
How to replicate schema with Kafka mirror maker?
我们正在使用镜像制作器来同步本地和 AWS Kafka 主题。如何在其他集群(本例中为 AWS)中完全相同地复制一个主题及其在本地注册的架构?
如何使用 mirror maker 复制 Avro 模式?
MirrorMaker 只复制字节数组,不复制模式。并且不关心数据的格式
从 Confluent 4.x 或更高版本开始,只要您的目标注册表可以查找 GET /schemas/ids/(number)
相同的模式 ID,这应该无关紧要,因为这是反序列化程序拾取的端点
您也可以镜像 _schemas
主题,正如 Confluent 在使用 Confluent Replicator 时所推荐的那样
如果您绝对需要 one-to-one 模式复制,您需要实现一个 MessageHandler
接口,并将其传递给 MirrorMaker 命令,以获取和 post 模式,类似于我添加到这个 Kafka Connect 插件的内部逻辑(你可以使用 Connect 而不是 MirrorMaker)。 https://github.com/cricket007/schema-registry-transfer-smt
我们正在使用镜像制作器来同步本地和 AWS Kafka 主题。如何在其他集群(本例中为 AWS)中完全相同地复制一个主题及其在本地注册的架构? 如何使用 mirror maker 复制 Avro 模式?
MirrorMaker 只复制字节数组,不复制模式。并且不关心数据的格式
从 Confluent 4.x 或更高版本开始,只要您的目标注册表可以查找 GET /schemas/ids/(number)
相同的模式 ID,这应该无关紧要,因为这是反序列化程序拾取的端点
您也可以镜像 _schemas
主题,正如 Confluent 在使用 Confluent Replicator 时所推荐的那样
如果您绝对需要 one-to-one 模式复制,您需要实现一个 MessageHandler
接口,并将其传递给 MirrorMaker 命令,以获取和 post 模式,类似于我添加到这个 Kafka Connect 插件的内部逻辑(你可以使用 Connect 而不是 MirrorMaker)。 https://github.com/cricket007/schema-registry-transfer-smt