NN 中数值输入的归一化
Normalization of input in NN for numeric values
我看了很多关于CNN图像归一化的论文。
但是我没有找到这个案例的答案。
比方说，我第一层的输入是：
[1, 4234, 90420394.43, 0]
我必须规范化吗？
因为，梯度下降应该能够自己识别什么是重要参数以及如何用W的矩阵来处理它？
最后一个问题，如果我真的必须对此进行归一化，我会得到一个值介于 0 和 1 之间的向量吗？
信息不会丢失吗？
（而且因为它似乎只是重新缩放，所以相对差异保持不变，所以，在这种情况下是怎么回事？）
答案并不特定于 CNN 中的图像，而是一般的神经网络。你认为梯度下降应该解决问题的直觉是正确的，系统应该学会自然地缩放，但是 在相同的 尺度上输入有助于保持梯度步长在相同的尺度上，这将有助于你的网络收敛得更快（没有这个，网络可能不会收敛）。
此外，正则化等技术直接作用于权重值，因此可能会受到不平衡尺度的影响。
还有batch normalization，经常用在图像CNN中，与归一化输入值无关
我看了很多关于CNN图像归一化的论文。 但是我没有找到这个案例的答案。 比方说，我第一层的输入是： [1, 4234, 90420394.43, 0] 我必须规范化吗？ 因为，梯度下降应该能够自己识别什么是重要参数以及如何用W的矩阵来处理它？
最后一个问题，如果我真的必须对此进行归一化，我会得到一个值介于 0 和 1 之间的向量吗？ 信息不会丢失吗？ （而且因为它似乎只是重新缩放，所以相对差异保持不变，所以，在这种情况下是怎么回事？）
答案并不特定于 CNN 中的图像，而是一般的神经网络。你认为梯度下降应该解决问题的直觉是正确的，系统应该学会自然地缩放，但是 在相同的 尺度上输入有助于保持梯度步长在相同的尺度上，这将有助于你的网络收敛得更快（没有这个，网络可能不会收敛）。
此外，正则化等技术直接作用于权重值，因此可能会受到不平衡尺度的影响。
还有batch normalization，经常用在图像CNN中，与归一化输入值无关