如何将 Kafka 从旧 Zookeeper 集群迁移到具有不同 znode 父路径的新 Zookeeper 集群
How to migrate Kafka from old Zookeeper cluster to new Zookeeper cluster with different znode parent path
我在一个单独的三节点 Zookeeper 集群上有一个正在服务的三节点 Kafka 集群 运行。我打算将 Kafka 切换为使用新的五节点 Zookeeper 集群,尽管我找到了相关信息,但我还有一个额外的问题,即 Kafka 将在新集群上使用自定义 znode 父路径。
例如,我当前的 Kafka Zookeeper 字符串如下所示:
192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181
我想将其切换为:
192.0.2.21:2181,192.0.2.22:2181,192.0.2.23:2181,192.0.2.24:2181,192.0.2.25:2181/kafka/uid1
这样做的原因是我们打算将更大的Zookeeper集群重新用于其他Kafka集群。别担心,这是为了测试而不是生产。但是,我们仍然希望在不丢失进入 Kafka 的流上的任何数据的情况下执行此操作,因此我们希望在不删除任何内容的情况下执行此操作。
这可能吗?
我遇到过以下问题:
- Copy/Migrate old zookeeper znode/data to new zookeeper
- best way to copy data across 2 zookeeper cluster?
不幸的是,它们似乎需要一些停机时间,我希望避免这种情况。
此页面 (https://qgraph.io/blog/migrating-kafka-zookeeper-cluster/) 在翻转方面更有帮助,但对 znode 迁移没有帮助。
我一直在寻找“znode 符号链接”或“为每个 zookeeper 服务器指定 znode 路径”,但似乎都不可能。我运气不好,需要停机并可能丢失数据吗?
据我所知,如果不重新启动 Kafka,就无法移动 Kafka 的父 znode。 znode 没有硬链接或软链接之类的东西:https://www.igvita.com/2010/04/30/distributed-coordination-with-zookeeper/
我在一个单独的三节点 Zookeeper 集群上有一个正在服务的三节点 Kafka 集群 运行。我打算将 Kafka 切换为使用新的五节点 Zookeeper 集群,尽管我找到了相关信息,但我还有一个额外的问题,即 Kafka 将在新集群上使用自定义 znode 父路径。
例如,我当前的 Kafka Zookeeper 字符串如下所示:
192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181
我想将其切换为:
192.0.2.21:2181,192.0.2.22:2181,192.0.2.23:2181,192.0.2.24:2181,192.0.2.25:2181/kafka/uid1
这样做的原因是我们打算将更大的Zookeeper集群重新用于其他Kafka集群。别担心,这是为了测试而不是生产。但是,我们仍然希望在不丢失进入 Kafka 的流上的任何数据的情况下执行此操作,因此我们希望在不删除任何内容的情况下执行此操作。
这可能吗?
我遇到过以下问题:
- Copy/Migrate old zookeeper znode/data to new zookeeper
- best way to copy data across 2 zookeeper cluster?
不幸的是,它们似乎需要一些停机时间,我希望避免这种情况。
此页面 (https://qgraph.io/blog/migrating-kafka-zookeeper-cluster/) 在翻转方面更有帮助,但对 znode 迁移没有帮助。
我一直在寻找“znode 符号链接”或“为每个 zookeeper 服务器指定 znode 路径”,但似乎都不可能。我运气不好,需要停机并可能丢失数据吗?
据我所知,如果不重新启动 Kafka,就无法移动 Kafka 的父 znode。 znode 没有硬链接或软链接之类的东西:https://www.igvita.com/2010/04/30/distributed-coordination-with-zookeeper/