在 GCP Dataproc 上的 Keras 模型上使用分布式 Tensorflow

Question

我对 GCP Dataproc 上的云计算完全陌生。我在创建集群时安装了 TonY（Tensorflow on Yarn），以便能够在其上运行 tensorflow。

我卡在创建 tf.train.ClusterSpec 部分的部分，以便运行在我的 keras 模型上分布式张量流。似乎只要我创建一个 clusterspec，然后使用 tf.train.Server 和 tf.Session 创建一个服务器和一个会话，我就可以使用 K.set_session(session) 为我的 keras 模型设置会话创建）。我只是想确定这是否正确？什么是工作节点和 ps 节点，我如何将它引用到我在 GCP Dataproc 中创建的集群中的主节点和工作节点。当我创建会话时， tf.train.Server 中的参数也只是 server.target?

# Keras Core
from keras.layers.convolutional import MaxPooling2D, Convolution2D, 
AveragePooling2D
from keras.layers import Input, Dropout, Dense, Flatten, Activation
from keras.layers.normalization import BatchNormalization
from keras.layers.merge import concatenate
from keras import regularizers
from keras import initializers
from keras.models import Model
# Backend
from keras import backend as K
# Utils
from keras.utils.layer_utils import convert_all_kernels_in_model
from keras.utils.data_utils import get_file
from keras.preprocessing.image import ImageDataGenerator
from keras import optimizers
from keras.preprocessing.image import img_to_array, load_img

from keras import backend as K
import numpy as np
import os
import inspect
from tqdm import tqdm
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from keras.callbacks import ModelCheckpoint
import tensorflow as tf
from PIL import Image

#Is worker going to reference to my worker nodes in my cluster and ps 
references to my master node in my cluster?
#Do I put the external addresses of the nodes into their respective lists?
cluster = tf.train.ClusterSpec({"worker": ["35.236.62.93:2222",
                                       "35.236.30.154:2222",
                                       "35.235.127.146:2222"],
                            "ps": ["5.235.95.74:2222"]})
#Is my job name correct as well?
server = tf.train.Server(cluster, job_name="ps")

#Does tf.Session take in server.target as its parameter?
sess = tf.Session(server.target)
K.set_session(sess)

Answer 1

为了访问您的集群配置，请使用 TensorFlow 代码中的 CLUSTER_SPEC。您可以按照 this 工作示例：

    cluster_spec_str = os.environ["CLUSTER_SPEC"]
    cluster_spec = json.loads(cluster_spec_str)
    ps_hosts = cluster_spec['ps']
    worker_hosts = cluster_spec['worker']

通过使用 Cloud Dataproc 启动 TonY 作业，TonY 会在 YARN 容器内设置 CLUSTER_SPEC 环境变量，您可以按上述方式直接访问它。

您还可以使用 JOB_NAME 环境变量访问作业名称：

  job_name = os.environ["JOB_NAME"]

您应该能够将 TonY MNIST 示例用作 reference。请让我们知道这是否适合您。

在 Cloud Dataproc 中，我们有 2 个概念：

硕士
工人

在Hadoop的世界里，分别指的是资源管理器（Master）和节点管理器（Worker）。在此示例中，我们有一个包含 1 个主节点和 4 个工作节点的 Cloud Dataproc 集群：

这显示了集群中的所有虚拟机：

从 TensorFlow 的角度来看，您可以使用 3 种主要策略进行分布式机器学习：

MirroredStrategy：多个 GPU，单个节点
CollectiveAllReduceStrategy：多个 GPU，多个节点 All-Reduce
ParameterServerStrategy：多GPU，多节点，Parameter+Worker节点

在你的例子中，当你启动一个 TonY 作业时，你似乎指的是后者，因此你将定义一个 .xml 文件，在这种情况下 tony.xml 你定义参数的数量服务器和工人。

<configuration>
 <property>
  <name>tony.application.security.enabled</name>
  <value>false</value>
 </property>
 <property>
  <name>tony.worker.instances</name>
  <value>${worker_instances}</value>
 </property>
 <property>
  <name>tony.worker.memory</name>
  <value>${worker_memory}</value>
 </property>
 <property>
  <name>tony.ps.instances</name>
  <value>${ps_instances}</value>
 </property>
 <property>
  <name>tony.ps.memory</name>
  <value>${ps_memory}</value>
 </property>
</configuration>

当 TonY 客户端将此请求发送到 Cloud Dataproc 时，Dataproc 默认会在任何 Dataproc worker 中分配容器（Dataproc master 不用于处理）。示例：

<configuration>
 <property>
  <name>tony.application.security.enabled</name>
  <value>false</value>
 </property>
 <property>
  <name>tony.worker.instances</name>
  <value>2</value>
 </property>
 <property>
  <name>tony.worker.memory</name>
  <value>4g</value>
 </property>
 <property>
  <name>tony.ps.instances</name>
  <value>1</value>
 </property>
 <property>
  <name>tony.ps.memory</name>
  <value>2g</value>
 </property> 
</configuration>

这将请求 4 个容器：

1个应用大师
1 个参数服务器
2 个工作服务器

分配取决于资源管理器调度程序。默认情况下，Dataproc 使用 DefaultResourceCalculator 并将尝试在任何 Dataproc 集群活动工作器中查找资源。

请查看 MNIST 和 Cloud DataProc 的当前示例：

https://github.com/linkedin/TonY/tree/master/tony-examples/tony-in-gcp

在 GCP Dataproc 上的 Keras 模型上使用分布式 Tensorflow

Using Distributed Tensorflow on a Keras model on GCP Dataproc

google-cloud-platform

keras

google-cloud-dataproc

tensorflow

tony