神经网络中的函数逼近（比如正弦）是如何真正起作用的？

Question

我是第一次学习神经网络。我试图了解如何使用单个隐藏层函数进行逼近。我看到了 this example on stackexchange but I had some questions after going through one of the answers.

假设我想逼近 0 到 3.14 弧度之间的正弦函数。那么我会有 1 个输入神经元吗？如果是这样，那么接下来，如果我假设隐藏层中有 K 个神经元，并且每个神经元都使用 S 型传递函数。然后在输出神经元中（如果说它只是使用隐藏层结果的线性和）输出怎么可能是 sigmoid 形状以外的东西？线性和不应该是 sigmoid 吗？或者简而言之，如何在神经网络中使用这种架构来近似正弦函数。

Answer 1

有可能，正式表述为universal approximation theorem。它适用于任何非常量、有界和单调递增的连续激活函数

我其实不知道正式的证明，但为了直观地了解它是可能的，我推荐以下章节：A visual proof that neural nets can compute any function

它表明，通过足够的隐藏神经元和正确的参数，您可以创建阶跃函数作为隐藏层的总输出。使用阶跃函数很容易争论如何至少粗略地近似任何函数。现在要获得正确的最终输出，隐藏层的总和必须为 since the final neuron then outputs: 。正如已经说过的，我们至少能够在一定程度上准确地对此进行近似。