Tensorflow 中的自动编码器：保存和加载网络 + 更改隐藏层

Question

我在 Tensorflow 中编写了一个自动编码器。我训练了Autoencoder，然后需要保存训练好的网络。随后，我需要重新加载训练好的网络，并更改最里面的隐藏层。然后我想看看解码器的预测是什么，给定这组不同的内部节点。我的自动编码器有 5 个隐藏层，我需要更改中间的一层（下面代码中的hid_layer3）。

input = ### some data
output = input

tf.reset_default_graph()

num_inputs=501    
num_hid1=250
num_hid2=100
num_hid3=50
num_hid4=num_hid2
num_hid5=num_hid1
num_output=num_inputs
lr=0.01
actf=tf.nn.tanh

X=tf.placeholder(tf.float32,shape=[None,num_inputs])
initializer=tf.variance_scaling_initializer()

w1=tf.Variable(initializer([num_inputs,num_hid1]),dtype=tf.float32)
w2=tf.Variable(initializer([num_hid1,num_hid2]),dtype=tf.float32)
w3=tf.Variable(initializer([num_hid2,num_hid3]),dtype=tf.float32)
w4=tf.Variable(initializer([num_hid3,num_hid4]),dtype=tf.float32)
w5=tf.Variable(initializer([num_hid4,num_hid5]),dtype=tf.float32)
w6=tf.Variable(initializer([num_hid5,num_output]),dtype=tf.float32)

b1=tf.Variable(tf.zeros(num_hid1))
b2=tf.Variable(tf.zeros(num_hid2))
b3=tf.Variable(tf.zeros(num_hid3))
b4=tf.Variable(tf.zeros(num_hid4))
b5=tf.Variable(tf.zeros(num_hid5))
b6=tf.Variable(tf.zeros(num_output))

hid_layer1=actf(tf.matmul(X,w1)+b1)
hid_layer2=actf(tf.matmul(hid_layer1,w2)+b2)
hid_layer3=actf(tf.matmul(hid_layer2,w3)+b3)
hid_layer4=actf(tf.matmul(hid_layer3,w4)+b4)
hid_layer5=actf(tf.matmul(hid_layer4,w5)+b5)
output_layer=tf.matmul(hid_layer5,w6)+b6

loss=tf.reduce_mean(tf.square(output_layer-X))

optimizer=tf.train.AdamOptimizer(lr)
train=optimizer.minimize(loss)

init=tf.global_variables_initializer()

num_epoch=100000
batch_size=150

saver = tf.train.Saver()
with tf.Session() as sess:
    sess.run(init)
    for epoch in range(num_epoch):

        sess.run(train,feed_dict={X:input})

        train_loss=loss.eval(feed_dict={X:input})
        print("epoch {} loss {}".format(epoch,train_loss))


    results=output_layer.eval(feed_dict={X:input})
    saver.save(sess, 'my_test_model')

我不知道如何加载模型并只更改新的 hid_layer3。另外，鉴于新的 hid_layer3.

集，我不知道如何仅将新加载的网络用作解码器

Answer 1

如果使用原始会话 API，提供了将值注入中间节点的示例。

关于 johnhenry 的评论，以下代码表明代码的其余部分未被评估。

import tensorflow as tf

def foo(x):
    print('hi')
    return x

w = tf.placeholder(tf.float32, (), name='x')
x = tf.py_func(foo, [w], tf.float32)
y = x + tf.constant(5.0)
z = tf.multiply(y, tf.constant(0.5))

with tf.Session() as sess:
    fetches = sess.run(z, feed_dict={w: 30})
    print(fetches)

with tf.Session() as sess:
    fetches = sess.run(z, feed_dict={x: 30})
    print(fetches)

with tf.Session() as sess:
    fetches = sess.run(z, feed_dict={y: 30})
    print(fetches)

'''
hi
17.5
17.5
15.0
'''

Tensorflow 中的自动编码器：保存和加载网络 + 更改隐藏层

Autoencoder in Tensorflow: save and load network + change hidden layer

python

autoencoder

tensorflow