MNIST 样本中的所有权重都为零（不变）

Question

我已经在 MNIST 上使用 softmax 函数训练和评估了第一个 TF 示例，结果符合预期，达到 92% 左右。但是，我想在每次迭代时查看权重和偏差。

查看代码，我发现在每次迭代时都初始化为零，这被认为不是一种有效的初始化方式：

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

另一个问题被建议用一个小的 stddev 截断它们：

W = tf.Variable(tf.truncated_normal([784, 10],stddev=0.001))
b = tf.Variable(tf.truncated_normal([10],stddev=0.001))

我也以这种方式进行了测试，但在这两种情况下，权重都没有发生变化（第一种情况全为零，第二种情况非零），而偏差只是发生变化的那些。

MWE:

print "Iteration:", '%04d' % (iteration + 1), "cost=", "{:.9f}".format(avg_cost)
print "Bias: ", b.eval()
print "Weights: ", W.eval()

这是前几次打印的结果：

Iteration: 0001 cost= 29.819621965
Bias:  [-0.38608965  0.36391538  0.1257894  -0.25784218  0.0603136   1.46654773
 -0.11613362  0.62797612 -1.63218892 -0.25228417]
Weights:  [[ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 ..., 
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]]
Iteration: 0003 cost= 20.975814890
Bias:  [-0.71424055  0.5187394   0.24631855 -0.44207239 -0.07629333  2.24541211
 -0.20360497  1.08866096 -2.26480484 -0.39810511]
Weights:  [[ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 ..., 
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]]

有趣的是，我在我的张量板查看器中看到一些非零权重：

有人可以解释为什么我会看到这种行为和不匹配吗？我想在 TensorFlow 中查看每一层的权重（在本例中我们只有一层）并检查它们的值。

Answer 1

当我们打印一个 numpy 数组时，只会打印初始值和最后一个值，而在 MNIST 的情况下，这些权重索引不会更新，因为图像中的相应像素保持不变，因为所有数字都写在数组的中心部分或图像不沿边界区域。从一个输入样本到另一个输入样本不同的实际像素是中心像素，因此只有那些相应的权重元素才会得到更新。要比较训练前后的权重，您可以使用 numpy.array_equal(w1, w2) 或者，您可以通过以下方式打印整个 numpy 数组： import numpy numpy.set_printoptions(threshold='nan') 或者，您可以逐个元素比较，只打印数组中相差一定阈值的那些值

MNIST 样本中的所有权重都为零（不变）

All weights are all zero (not changing) in MNIST sample

mnist

tensorflow

tensorboard

softmax