如何断开 Hadoop 集群内节点之间的网络连接？

How to disconnect the network between nodes inside a Hadoop cluster?

我想给一个hadoop分布式系统注入一些故障。我使用 docker 容器构建了一个包含 3 个节点的集群。如果我想断开一个节点怎么办？我可以停止工作节点上的 ssh 服务吗？

另外，如果我想模拟磁盘满故障怎么办？

任何会使机器无法访问的东西都可以，但是 spark 和 hadoop 使用 RPC 协议而不是 ssh 进行通信，所以停止 ssh 对你的情况来说是不够的

Spark 在工作节点上使用随机端口，因此您不能只阻止一个端口并期望该节点无法访问。

另一方面，Hadoop 有默认端口：

对于您的一般用例，只需终止 docker 容器来模拟节点故障。