具有两个神经元的神经网络

Question

我试图使用 python 从头开始实现一个简单的神经网络。这个神经网络只有两个神经元，任务是将输入与输出相匹配。（即 x = 0 --> 输出 = 0，x = 1 --> 输出 = 1）

我使用了偏导数并尝试使用梯度上升来最大化负损失。（完整代码如下）即使经过10000多次迭代训练，输出也不够好。（我认为损失可能停留在局部最大值处。）任何人都可以帮我弄清楚我的实现有什么问题。

import random
import numpy as np
import math

def sigmoid(x):
  return 1 / (1 + np.exp(-x))

def error(d,z):
    return -0.5 * np.sum(np.power(d-z, 2))

# x = input
##x = np.random.choice((0,1),10000)
x = np.array([0, 1])
# y = desired output
d = np.copy(x)

# weights of two neurons
w = np.random.rand(2)

# now training using backprop
gradient = np.random.rand(2)

iterations = 800
rate = 5

k = 1
for i in xrange(1, iterations + 1):
    y = sigmoid(w[0] * x)
    z = sigmoid(w[1] * y)

    gradient[0] = np.sum(z * w[1] * y * x * (d-z) * (1-y) * (1-z))
    gradient[1] = np.sum(y * z * (d-z) * (1-z))

    w[0] += gradient[0] * rate
    w[1] += gradient[1] * rate

    print "Iteration %d, Error %f, Change %f" % (i, error(d,z), ((gradient[0] * rate) ** 2 + (gradient[1] * rate) ** 2)**0.5)

    change = ((gradient[0] * rate) ** 2 + (gradient[1] * rate) ** 2)**0.5

    if change < 0.00001:
        break

## now test
print "1",
x = 1
y = sigmoid(w[0]*x)
z = sigmoid(w[1]*y)
print z

print "0",
x = 0
y = sigmoid(w[0]*x)
z = sigmoid(w[1]*y)
print z

Answer 1

请参阅在执行反向传播之前规范化您的数据。可能有帮助..!

Answer 2

你的简单网络无法学习此功能。

问题是神经元缺乏偏见。如果我们称你的两个权重为 W1 和 W2，你可以看到问题：

如果输入是0，那么W1没有区别，第一层的输出是0.5，第二层的输出是sigmoid( 0.5 * W2 )。要学习输出值为 0，则网络必须使 W2 变大且为负。
如果输入是1，那么第一层的调用输出是N，它必须在0和1之间。第二层的输出将是sigmoid( N * W2 ).如果 W2 很大且为负，那么网络最好的办法就是为 W1 学习一个大的负权重，使 N 接近于零。但这最多仍然会学习输出一些东西 < 0.5，因为 sigmoid(0) 是 0.5。

无论您选择什么权重，您都无法为 [0,1] 输入接近 [0,1] 输出。解决方案是在第二层中至少添加一个偏差项，尽管在每个神经元上都有偏差会更正常。

具有两个神经元的神经网络

Neural Network with two neurons

python

backpropagation

neural-network