经过大量训练后,神经元网络的适应速度会变慢吗?
Do Neuronal networks getting slow in adaption after a lot of training?
我是神经网络领域的初学者,想看懂某句话。一位朋友说,当你放入大量数据后,神经元网络会变慢。
现在,我刚刚完成了 androw ng 的 coursera ML 课程。在那里,我实施了反向传播。我认为它只是通过使用不同类型的计算来调整与预期输出相关的模型。然而,这不像是用历史来适应模型。仅检查神经元的当前状态,并结合正则化调整它们的权重。
我的假设是正确的还是错误的?是否有一些使用历史数据的库可能会在经过一定数量的训练后导致模型适应缓慢?
我想使用一个简单的神经元网络进行强化学习,并且我想知道如果目标环境因某种原因发生变化是否需要重置我的模型。否则我的模型会随着时间的推移适应越来越慢。
感谢任何高级链接和解释!
正如您所说,神经网络通过在反向传播步骤中修改它们的权重来适应。随着训练的进行,修改这些权重不会变慢,因为修改这些权重的步骤数将始终保持不变。 运行 通过您的模型的示例所需的步数也将保持不变,因此不会根据您在训练期间提供的示例数量减慢您的网络。
但是,您可以决定在训练期间更改学习率(通常会随着时间的推移而降低)。根据模型学习率的演变方式,权重将以不同的方式进行修改,通常会导致每个 epoch 的差异较小。
我是神经网络领域的初学者,想看懂某句话。一位朋友说,当你放入大量数据后,神经元网络会变慢。
现在,我刚刚完成了 androw ng 的 coursera ML 课程。在那里,我实施了反向传播。我认为它只是通过使用不同类型的计算来调整与预期输出相关的模型。然而,这不像是用历史来适应模型。仅检查神经元的当前状态,并结合正则化调整它们的权重。
我的假设是正确的还是错误的?是否有一些使用历史数据的库可能会在经过一定数量的训练后导致模型适应缓慢?
我想使用一个简单的神经元网络进行强化学习,并且我想知道如果目标环境因某种原因发生变化是否需要重置我的模型。否则我的模型会随着时间的推移适应越来越慢。
感谢任何高级链接和解释!
正如您所说,神经网络通过在反向传播步骤中修改它们的权重来适应。随着训练的进行,修改这些权重不会变慢,因为修改这些权重的步骤数将始终保持不变。 运行 通过您的模型的示例所需的步数也将保持不变,因此不会根据您在训练期间提供的示例数量减慢您的网络。
但是,您可以决定在训练期间更改学习率(通常会随着时间的推移而降低)。根据模型学习率的演变方式,权重将以不同的方式进行修改,通常会导致每个 epoch 的差异较小。