ReLU 可以处理负输入吗？
Can ReLU handle a negative input?
我正在用以负值和正值形式出现的数据训练神经网络。
有没有什么方法可以将数据馈送到 ReLU 网络，而无需将其全部转换为正数并有一个单独的输入来说明数据是负数还是正数？
我看到的问题是输入层的负输入意味着除非您将权重初始化为负数，否则 ReLU 节点永远不会被激活并且永远死掉。
我不是真的 100% 确定你在问什么，因为激活函数有很多，你可以轻松编写自己的代码。如果您不想自己编写代码，也许可以尝试一些替代方法：
Leaky ReLU
参数 ReLU
基本看看here
如果您真的在输入层使用激活函数，我建议您使用另一个激活函数，例如 ELU，或者将您的数据转换到 [0,1] 范围内。
如果ReLU函数在某个隐藏层，ReLU函数应该只是暂时死掉了。
假设您在前馈网络的最后一个隐藏层中有一个 ReLU 函数。使用反向传播算法，先前隐藏层的输出应该可能会发生变化，最终 ReLU 函数的输入将再次变为正数。那么 ReLU 就不会死了。很可能我在这里遗漏了一些东西。
无论如何，你一定要试试ELU！与 ReLU 相比，我使用它获得了更好的结果。
我正在用以负值和正值形式出现的数据训练神经网络。
有没有什么方法可以将数据馈送到 ReLU 网络，而无需将其全部转换为正数并有一个单独的输入来说明数据是负数还是正数？
我看到的问题是输入层的负输入意味着除非您将权重初始化为负数，否则 ReLU 节点永远不会被激活并且永远死掉。
我不是真的 100% 确定你在问什么，因为激活函数有很多，你可以轻松编写自己的代码。如果您不想自己编写代码，也许可以尝试一些替代方法：
Leaky ReLU
参数 ReLU
基本看看here
如果您真的在输入层使用激活函数，我建议您使用另一个激活函数，例如 ELU，或者将您的数据转换到 [0,1] 范围内。 如果ReLU函数在某个隐藏层，ReLU函数应该只是暂时死掉了。
假设您在前馈网络的最后一个隐藏层中有一个 ReLU 函数。使用反向传播算法，先前隐藏层的输出应该可能会发生变化，最终 ReLU 函数的输入将再次变为正数。那么 ReLU 就不会死了。很可能我在这里遗漏了一些东西。
无论如何，你一定要试试ELU！与 ReLU 相比，我使用它获得了更好的结果。