通过全批训练将字母图像训练到神经网络
Training letter images to a neural network with full-batch training
根据 this tutorial（Pure Python with NumPy），我想构建一个简单的（最简单的学习级别）神经网络（感知器），可以训练识别 "A" 信。在本教程中，在建议的示例中，他们构建了一个可以学习 "AND" 逻辑运算符的网络。在这种情况下，我们有一些输入（4*3 矩阵）和一个输出（4*1 矩阵）：
每次我们用输入矩阵减去输出矩阵并计算误差和更新率等。
现在我想给一个图像作为输入，在这种情况下，我的输出是什么？如何定义图像是 "A" 字母？一种解决方案是将“1”定义为 "A" 字母，将“0”定义为 "non-A" ，但是如果我的输出是标量，我如何用隐藏层减去它并计算误差和更新权重？本教程使用 "full-batch" 训练并将整个输入矩阵与权重矩阵相乘。我想用这种方法。最终目标是设计一个能够以最简单形式识别 "A" 个字母的神经网络。我不知道该怎么做。
拳头：太棒了，你试图通过从头开始编程来理解神经网络，而不是从一些复杂的库开始。让我试着澄清一下：你对这里的理解：
Each time we subtract output matrix with input matrix and calculate the error and updating rate and so on.
不太正确。在您的示例中，输入矩阵 X 是您呈现给神经网络输入的内容。输出 Y 是您希望网络为 X 执行的操作：第一个元素 Y[0] 是 X 第一行的所需输出，依此类推。我们通常称其为 "target vector"。现在为了计算损失函数（即误差），我们将网络的输出（链接示例代码中的 L2）与目标向量 Y 进行比较。换句话说，我们将我们想要网络做的事情（Y）与它真正做的事情（L2 ).然后我们朝着更接近Y.
的方向迈出一步
现在，如果您想使用图像作为输入，您应该将图像中的每个像素视为一个输入变量。之前，我们有两个输入变量：A 和 B，我们想要计算 X = A ∧ B 项。
示例：
如果我们拍摄一张 8×8 像素的图像，我们有 8*8=64 个输入变量。因此，我们的输入矩阵 X 应该是一个有 65 列的矩阵（图像的 64 个像素 + 1 个输入作为偏差项，它始终 =1）并且每个训练示例一行。例如。如果您有 26 个字母中的每一个的图像，则矩阵将包含 26 行。
输出（目标）向量 Y 的长度应与 X 相同，即上例中的 26。如果对应的输入行是 A，则 Y 中的每个元素都为 1，如果是另一个字母，则为 0。在我们的示例中，Y[0] 将为 1，Y[1:] 将为 0。
现在，您可以使用与以前相同的代码：输出 L2 将是一个包含网络预测的向量，然后您可以像以前一样将其与 Y 进行比较。
tl;dr 关键思想是忘记图像是二维的，并将每个输入图像存储为向量。
根据 this tutorial（Pure Python with NumPy），我想构建一个简单的（最简单的学习级别）神经网络（感知器），可以训练识别 "A" 信。在本教程中，在建议的示例中，他们构建了一个可以学习 "AND" 逻辑运算符的网络。在这种情况下，我们有一些输入（4*3 矩阵）和一个输出（4*1 矩阵）：
每次我们用输入矩阵减去输出矩阵并计算误差和更新率等。
现在我想给一个图像作为输入，在这种情况下，我的输出是什么？如何定义图像是 "A" 字母？一种解决方案是将“1”定义为 "A" 字母，将“0”定义为 "non-A" ，但是如果我的输出是标量，我如何用隐藏层减去它并计算误差和更新权重？本教程使用 "full-batch" 训练并将整个输入矩阵与权重矩阵相乘。我想用这种方法。最终目标是设计一个能够以最简单形式识别 "A" 个字母的神经网络。我不知道该怎么做。
拳头：太棒了，你试图通过从头开始编程来理解神经网络，而不是从一些复杂的库开始。让我试着澄清一下：你对这里的理解：
Each time we subtract output matrix with input matrix and calculate the error and updating rate and so on.
不太正确。在您的示例中，输入矩阵 X 是您呈现给神经网络输入的内容。输出 Y 是您希望网络为 X 执行的操作：第一个元素 Y[0] 是 X 第一行的所需输出，依此类推。我们通常称其为 "target vector"。现在为了计算损失函数（即误差），我们将网络的输出（链接示例代码中的 L2）与目标向量 Y 进行比较。换句话说，我们将我们想要网络做的事情（Y）与它真正做的事情（L2 ).然后我们朝着更接近Y.
现在，如果您想使用图像作为输入，您应该将图像中的每个像素视为一个输入变量。之前，我们有两个输入变量：A 和 B，我们想要计算 X = A ∧ B 项。
示例：
如果我们拍摄一张 8×8 像素的图像，我们有 8*8=64 个输入变量。因此，我们的输入矩阵 X 应该是一个有 65 列的矩阵（图像的 64 个像素 + 1 个输入作为偏差项，它始终 =1）并且每个训练示例一行。例如。如果您有 26 个字母中的每一个的图像，则矩阵将包含 26 行。
输出（目标）向量 Y 的长度应与 X 相同，即上例中的 26。如果对应的输入行是 A，则 Y 中的每个元素都为 1，如果是另一个字母，则为 0。在我们的示例中，Y[0] 将为 1，Y[1:] 将为 0。
现在，您可以使用与以前相同的代码：输出 L2 将是一个包含网络预测的向量，然后您可以像以前一样将其与 Y 进行比较。
tl;dr 关键思想是忘记图像是二维的，并将每个输入图像存储为向量。