Kafka集群设置
Kafka cluster setup
我是Kafka技术的新手。
我已经使用 Ambari 设置了一个基本的单节点集群。
我想了解生产服务器的推荐配置是什么。假设在生产中我将有 5 个主题，每个主题每天的访问量在 500,000 到 50,000,000 之间。
我正在考虑使用 EC2 r5.xlarge 实例设置一个 3-4 节点的 kafka 集群。
我对 zookeeper 部分感到很困惑。我了解 zookeeper 需要奇数个节点并且 zookeeper 安装在所有 kafka 节点上，那么我如何 运行 Kafka 与偶数个节点。如果这是真的，它也会将 Kafka 限制为奇数个节点。
是否真的需要在所有Kafka节点上安装Zookeeper。我可以在单独的节点上安装 Zookeeper 并在单独的节点上安装 Kafka 代理吗？
如果我想 运行 多个 Kafka 集群怎么办。是否可以通过单个 Zookeeper 集群管理多个 Kafka 集群，如果可能的话如何？
最近才开始学习Kafka，如有帮助将不胜感激。
谢谢，
Can I install Zookeeper on separate nodes and Kafka brokers on separate nodes, how ?
你可以，如果你有可用的资源，你应该这样做。
运行 zookeeper-server-start zookeeper.properties 在奇数台服务器上。 （对于较大的 Kafka 集群，最多 5 或 7 个）
在作为 Kafka 代理的所有其他机器上，与 Zookeeper 不同的服务器，编辑 server.properties 以指向 zookeeeper.connect 属性 的那组 Zookeeper 机器地址。
然后对每个新的 Kafka 代理执行 kafka-server-start server.properties。
从那里，您可以独立于 Zookeeper 扩展 Kafka
Is it possible to manage multiple Kafka clusters through single Zookeeper cluster
查找 Zookeeper chroots
一个 Kafka 集群将被定义为
zoo1:2181/kafka1
还有第二个
zoo1:2181/kafka2
如果机器不应该在同一个 Kafka 集群中，请注意不要混淆它们
您可以找到各种 CloudFormation、Terraform 或 Ansible 存储库，用于在 Github 上的云中以分布式方式设置 Kafka，或者如果您熟悉 Kubernetes，则可以使用它。
I am mostly confused about zookeeper part. I understand zookeeper
needs odd number of nodes and zookeeper is installed on all kafka
nodes, then how do I run Kafka with even number of nodes. If this is
true it will limit Kafka to odd number of nodes as well.
Zookeeper 可以，但不必与 kafka 安装在同一台服务器上。 运行 zookeeper 在奇数个节点上不是必需的，只是很好的推荐
Is it really needed to install Zookeeper on all Kafka nodes. Can I
install Zookeeper on separate nodes and Kafka brokers on separate
nodes, how ?
不需要，zookeeper和kafka最好不要放在同一台服务器上。在另一台服务器上安装 zookeeper 与它们位于同一台服务器上时非常相似。每个 kafka 代理都需要 zookeeper.connect 设置指向所有 zookeeper 节点。
What if I want to run multiple Kafka clusters. Is it possible to
manage multiple Kafka clusters through single Zookeeper cluster, how
if possible ?
有可能。在这种情况下，建议将服务器专用于 zookeeper ensemble。在这种情况下，在 zookeeper.connect 设置中，您应该使用 hostname:port/path 而不是 hostname:port.
我是Kafka技术的新手。 我已经使用 Ambari 设置了一个基本的单节点集群。
我想了解生产服务器的推荐配置是什么。假设在生产中我将有 5 个主题，每个主题每天的访问量在 500,000 到 50,000,000 之间。
我正在考虑使用 EC2 r5.xlarge 实例设置一个 3-4 节点的 kafka 集群。
我对 zookeeper 部分感到很困惑。我了解 zookeeper 需要奇数个节点并且 zookeeper 安装在所有 kafka 节点上，那么我如何 运行 Kafka 与偶数个节点。如果这是真的，它也会将 Kafka 限制为奇数个节点。
是否真的需要在所有Kafka节点上安装Zookeeper。我可以在单独的节点上安装 Zookeeper 并在单独的节点上安装 Kafka 代理吗？
如果我想 运行 多个 Kafka 集群怎么办。是否可以通过单个 Zookeeper 集群管理多个 Kafka 集群，如果可能的话如何？
最近才开始学习Kafka，如有帮助将不胜感激。
谢谢，
Can I install Zookeeper on separate nodes and Kafka brokers on separate nodes, how ?
你可以，如果你有可用的资源，你应该这样做。
运行 zookeeper-server-start zookeeper.properties 在奇数台服务器上。 （对于较大的 Kafka 集群，最多 5 或 7 个）
在作为 Kafka 代理的所有其他机器上，与 Zookeeper 不同的服务器，编辑 server.properties 以指向 zookeeeper.connect 属性 的那组 Zookeeper 机器地址。
然后对每个新的 Kafka 代理执行 kafka-server-start server.properties。
从那里，您可以独立于 Zookeeper 扩展 Kafka
Is it possible to manage multiple Kafka clusters through single Zookeeper cluster
查找 Zookeeper chroots
一个 Kafka 集群将被定义为
zoo1:2181/kafka1
还有第二个
zoo1:2181/kafka2
如果机器不应该在同一个 Kafka 集群中，请注意不要混淆它们
您可以找到各种 CloudFormation、Terraform 或 Ansible 存储库，用于在 Github 上的云中以分布式方式设置 Kafka，或者如果您熟悉 Kubernetes，则可以使用它。
I am mostly confused about zookeeper part. I understand zookeeper needs odd number of nodes and zookeeper is installed on all kafka nodes, then how do I run Kafka with even number of nodes. If this is true it will limit Kafka to odd number of nodes as well.
Zookeeper 可以，但不必与 kafka 安装在同一台服务器上。 运行 zookeeper 在奇数个节点上不是必需的，只是很好的推荐
Is it really needed to install Zookeeper on all Kafka nodes. Can I install Zookeeper on separate nodes and Kafka brokers on separate nodes, how ?
不需要，zookeeper和kafka最好不要放在同一台服务器上。在另一台服务器上安装 zookeeper 与它们位于同一台服务器上时非常相似。每个 kafka 代理都需要 zookeeper.connect 设置指向所有 zookeeper 节点。
What if I want to run multiple Kafka clusters. Is it possible to manage multiple Kafka clusters through single Zookeeper cluster, how if possible ?
有可能。在这种情况下，建议将服务器专用于 zookeeper ensemble。在这种情况下，在 zookeeper.connect 设置中，您应该使用 hostname:port/path 而不是 hostname:port.