如何将单节点 Kafka 扩展到多节点集群？

Question

我要安装 Kafka 用于公司消息传递。计划是首先在一台大型机器上安装 kafka，然后根据需要将其扩展到 4-5 台机器（一个集群）。

我对kafka经验不多。想问一下是否可以通过更改broker配置中的参数并在新加入的机器上安装zookeeper来扩展。

或者我怎样才能以最简单的方式粗略地做到这一点？更具体地说，CDH 中的 Cloudera Kafka。

谢谢

Answer 1

要扩展 Kafka，如果需要使用 kafka-topics.sh，您必须向主题添加更多分区。然后使用 kafka-reassign-partitions.sh.

将分区重新分配给您的新经纪人

重新分配实用程序将自动复制和发送您的数据。您可以针对整个主题或一组选定的分区执行此操作。

完整的文档是here。看看第 6 节。