是否有 apache 风暴集群大小限制？
is there any apache storm cluster size limit?
我假设在风暴集群中拥有更多节点会增加 "keep-topology-alive" 集群内通信。
鉴于拓扑在 10 个节点（2 或 4 CPU，4GB RAM）下对于小数据工作正常，我们能否将拓扑扩展到 1,000 或 10,000 个节点并且仍然具有竞争力（非常）大数据？有任何已知的实际限制吗？
谢谢
Storm 集群的扩展受限于 Zookeeper 中状态存储的速度，其中大部分来自 workers "heartbeats"。理论上的限制是大约 1,200 个节点（取决于磁盘速度，这里考虑 80MB/s 的写入速度）。显然，使用更快的 HDD 会使事情变得更加可扩展。
但是，Yahoo 的人员正在为员工心跳开发内存存储。他们的解决方案将使用千兆以太网连接将限制增加到大约 6,250 个节点。 10Gigabit 连接会将这个理论限制增加到 62,500 个节点。您可以查看来自 Bobby Evans 的 2015 年 Hadoop 峰会 presentation 了解更多详细信息。
我假设在风暴集群中拥有更多节点会增加 "keep-topology-alive" 集群内通信。
鉴于拓扑在 10 个节点（2 或 4 CPU，4GB RAM）下对于小数据工作正常，我们能否将拓扑扩展到 1,000 或 10,000 个节点并且仍然具有竞争力（非常）大数据？有任何已知的实际限制吗？
谢谢
Storm 集群的扩展受限于 Zookeeper 中状态存储的速度，其中大部分来自 workers "heartbeats"。理论上的限制是大约 1,200 个节点（取决于磁盘速度，这里考虑 80MB/s 的写入速度）。显然，使用更快的 HDD 会使事情变得更加可扩展。
但是，Yahoo 的人员正在为员工心跳开发内存存储。他们的解决方案将使用千兆以太网连接将限制增加到大约 6,250 个节点。 10Gigabit 连接会将这个理论限制增加到 62,500 个节点。您可以查看来自 Bobby Evans 的 2015 年 Hadoop 峰会 presentation 了解更多详细信息。