如何修复 TensorFlow 线性回归在 MSE 中没有变化？

Question

我正在研究一个简单的线性回归模型来预测一系列中的下一步。我给它 x/y 坐标数据，我希望回归器预测图中下一个点的位置。

我在 AdamOptmizer 中使用密集层并将损失函数设置为：

tf.reduce_mean(tf.square(layer_out - y))

我正在尝试从头开始创建线性回归模型（我不想在这里使用 TF 估计器包）。

我已经看到通过手动指定权重和偏差来做到这一点的方法，但没有任何东西进入深度回归。

    X = tf.placeholder(tf.float32, [None, self.data_class.batch_size, self.inputs])
    y = tf.placeholder(tf.float32, [None, self.data_class.batch_size, self.outputs])
    layer_input = tf.layers.dense(inputs=X, units=10, activation=tf.nn.relu)
    layer_hidden = tf.layers.dense(inputs=layer_input, units=10, activation=tf.nn.relu)
    layer_out = tf.layers.dense(inputs=layer_hidden, units=1, activation=tf.nn.relu)
    cost = tf.reduce_mean(tf.square(layer_out - y))
    optmizer = tf.train.AdamOptimizer(learning_rate=self.learning_rate)
    training_op = optmizer.minimize(cost)

    init = tf.initialize_all_variables()
    iterations = 10000
    with tf.Session() as sess:
        init.run()
        for iteration in range(iterations):
            X_batch, y_batch = self.data_class.get_data_batch()
            sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
            if iteration % 100 == 0:
                mse = cost.eval(feed_dict={X:X_batch, y:y_batch})
                print(mse)
        array = []
        for i in range(len(self.data_class.dates), (len(self.data_class.dates)+self.data_class.batch_size)):
            array.append(i)
        x_pred = np.array(array).reshape(1, self.data_class.batch_size, 1)
        y_pred = sess.run(layer_out, feed_dict={X: x_pred})
        print(y_pred)
        predicted = np.array(y_pred).reshape(self.data_class.batch_size)
        predicted = np.insert(predicted, 0, self.data_class.prices[0], axis=0)
        plt.plot(self.data_class.dates, self.data_class.prices)
        array = [self.data_class.dates[0]]
        for i in range(len(self.data_class.dates), (len(self.data_class.dates)+self.data_class.batch_size)):
            array.append(i)

        plt.plot(array, predicted)
        plt.show()

当我运行训练时，我一遍又一遍地得到相同的损失值。

没有减少，应该减少，为什么？

Answer 1

问题是我正在对输出层应用激活。这导致该输出转到它激活的任何位置。

通过在最后一层指定 activation=None 深度回归按预期工作。

这是更新后的架构：

layer_input = tf.layers.dense(inputs=X, units=150, activation=tf.nn.relu)
    layer_hidden = tf.layers.dense(inputs=layer_input, units=100, activation=tf.nn.relu)
    layer_out = tf.layers.dense(inputs=layer_hidden, units=1, activation=None)

如何修复 TensorFlow 线性回归在 MSE 中没有变化？

How to fix TensorFlow Linear Regression no change in MSE?

python

training-data

deep-learning

tensorflow