试图理解这个简单的 TensorFlow 代码

Question

我对深度学习很感兴趣，最近发现了 TenserFlow。我安装了它并遵循了 https://www.tensorflow.org/get_started/get_started 中的教程。

这是我按照该教程得出的代码：

import tensorflow as tf
W = tf.Variable(0.3, tf.float32)
b = tf.Variable(-0.3, tf.float32)
x = tf.placeholder(tf.float32)
y = tf.placeholder(tf.float32)
linear_model = W * x + b
squared_deltas = tf.square(linear_model - y)
loss = tf.reduce_sum(squared_deltas)
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)
sess.run(init)
for i in range(1000):
    sess.run(train, {x:[1,2,3,4], y:[0,-1,-2,-3]})

print(sess.run([W, b]))

目前，我只对训练前的代码感兴趣，以免不知所措。

现在，我理解了（或者至少我认为我理解了）这段代码的部分内容。它按照教程产生了预期的结果，但这段代码中的大多数行让我感到困惑。可能是因为我对所涉及的数学不熟悉，但我不知道这里实际涉及多少数学所以很难判断是否是这个问题。

反正前6行我都看懂了。然后是这一行：

squared_deltas = tf.square(linear_model - y)

据我了解，它只是 returns (linear_model - y) 的平方但是，y 还没有值。

然后，loss赋值为tf.reduce_sum(squared_deltas)。我知道损失需要尽可能低。

我怎么解释最后两行？

我有点理解 tf.Session() 和 tf.global_variables_initializer() 所以我现在不太关心这两个函数。

奖金问题：在任一方向（增加或减少）更改 tf.train.GradientDescentOptimizer() 的参数值都会给我错误的结果。为什么 0.01 有效而 0.1、0.001 无效？

我很感激能得到的任何帮助！谢谢

Answer 1

As I understand it, it simply returns the square of (linear_model - y) However, y has no value yet. Then, loss is assigned the value of tf.reduce_sum(squared_deltas). I understand that loss needs to be as low as possible. How do I even interpret these last two lines?

您显然需要阅读 TensorFlow 文档。你错过了 TF 背后的核心思想 - 它定义了 计算图 ，此时没有涉及计算，你是对的 - 还没有 "y"，没有至少值 - 它只是一个符号变量（占位符）因此我们说我们的损失将是预测值和真实值（y）之间差异的平方均值，但我们还没有提供它。实际值在会话中开始 "living"，在此之前，这只是一个计算图，TF 的指令，因此它知道 "what to anticipate"。

Bonus question: changing the value in the argument of tf.train.GradientDescentOptimizer() in either direction (increase or decrease) gives me the wrong result. How come 0.01 works when 0.1, 0.001 doesn't?

线性回归（您正在使用的）收敛当且仅当学习率足够小并且您有足够的迭代次数。 0.1 可能太大了，0.01 很好，0.001 也很好，您只需要 1000 次以上的迭代就可以得到 0.001，但它会起作用（任何更小的值也会起作用，但同样 - 慢得多）。

试图理解这个简单的 TensorFlow 代码

Trying to understand this simple TensorFlow code

python

artificial-intelligence

machine-learning

tensorflow