在 Debian 服务器上构建共享计算集群
Building a cluster for shared computing, on Debian servers
这是我的问题:我正在尝试创建一个 debian 服务器集群,我可以在其上训练我的 ANN(语言:Python,库:theano、Tensorflow、Keras)。
所以,我想要一个安装了库的主服务器,我只需要在上面发送我的代码和数据集。然后该服务器将在 3 个从属服务器之间分发所有计算。我听说过 Pacemaker 和 Corosync,但我阅读的所有文章都在谈论高可用性,而不是共享计算。你有什么想法吗?
对于这种情况,我四处搜索并决定使用与 Keras 配合使用的 Apache Spark 和 Elephas。目前我的安装在 python 2.7 和 java 8 下工作,在 java 11 下出现问题后我不知道来源。
另一个途径可能是使用 Apache Spark 和 dist-keras,这是一个由 CERN 开发的库。但经过分析,这个解决方案在我看来实施起来要复杂得多。作为一个初学者,我的选择是Elephas。
这是我的问题:我正在尝试创建一个 debian 服务器集群,我可以在其上训练我的 ANN(语言:Python,库:theano、Tensorflow、Keras)。
所以,我想要一个安装了库的主服务器,我只需要在上面发送我的代码和数据集。然后该服务器将在 3 个从属服务器之间分发所有计算。我听说过 Pacemaker 和 Corosync,但我阅读的所有文章都在谈论高可用性,而不是共享计算。你有什么想法吗?
对于这种情况,我四处搜索并决定使用与 Keras 配合使用的 Apache Spark 和 Elephas。目前我的安装在 python 2.7 和 java 8 下工作,在 java 11 下出现问题后我不知道来源。 另一个途径可能是使用 Apache Spark 和 dist-keras,这是一个由 CERN 开发的库。但经过分析,这个解决方案在我看来实施起来要复杂得多。作为一个初学者,我的选择是Elephas。