2个神经元的多层神经网络是否与1个神经元相同

Question

AND逻辑和OR逻辑只需1个神经元即可解决。然而，XOR 逻辑需要一个 2 层 3 个神经元的神经网络：

(neuron1)\
          \
           +----- (neuron3)
          /
(neuron2)/

考虑这种形式的神经网络：

(neuron1) ------- (neuron2)

这种只有 2 个神经元相互连接的神经网络是否能够解决比只有 1 个神经元更好的问题？

Answer 1

2 个神经元可能比 1 个神经元更强大。

例如，考虑两个具有标准 rectifier nonlinearity max(0,x) 的神经元。

设输入为x。

第一个神经元计算 y=max(0,x)

第二个神经元计算 z=max(0,1-y)

图片绘制了 y（绿色）、1-y（红色）、z（蓝色）对 x。

这表明两个神经元都使用一个简单的整流器如何构建更复杂的饱和非线性（由蓝线表示）。

无法通过在单个输出上运行的单个整流神经元生成蓝线（因为所有此类输出最多具有两个线性段，而我们的 z 输出具有三个线性段）。