强化学习函数逼近神经网络
Reinforcement Learning function approximation with Neural Networks
我正在尝试使用神经网络作为函数逼近器来实现用于估计 q* 的情景半梯度 Sarsa。
我的问题是：q(S,A,w)中的权重向量w是指神经网络中的权重吗？
参见：
Sutton and Barto 第 197/198 页的具体算法。
如果是：那么如何处理多层神经网络中存在多个权重向量的事实？
如果否：我将如何在算法中使用它？
我的建议是将其附加到状态 s 和动作 a 并将其插入神经网络以获得所选动作的状态近似值。这是正确的吗？
权重向量w的维度是如何确定的？
提前致谢！
伪代码中的w严格来说不一定是单个权重向量。本章开头的文字确实多次将 w 称为 "weight vector"，但伪代码本身只提到 w 是可微分 action-value 函数逼近器的参数。神经网络完全符合该描述。
在神经网络的情况下，您可以将 w 视为所有权重矩阵的组合（或者；您可以将其视为一个非常非常长的向量，由将所有权重矩阵展开为单个向量）。您可以将在 w 上执行更新的伪代码行视为神经网络中的常规反向传播，优化所有参数 w 以进行预测 q(S, A, w)稍微接近R + gamma*q(S', A', w)。
这一行伪代码基本上总结了在 w 是一个由神经网络的展开权重矩阵组成的巨大向量的情况下的整个反向传播过程。实际上，它不能用一行代码实现，因为网络早期层的偏导数（gradients-of-q 向量的分量）依赖于靠近输出层的偏导数层，因此必须按顺序计算它们（如果您熟悉神经网络，这就是您所知道的反向传播）。
我正在尝试使用神经网络作为函数逼近器来实现用于估计 q* 的情景半梯度 Sarsa。 我的问题是：q(S,A,w)中的权重向量w是指神经网络中的权重吗？
参见： Sutton and Barto 第 197/198 页的具体算法。
如果是：那么如何处理多层神经网络中存在多个权重向量的事实？
如果否：我将如何在算法中使用它？ 我的建议是将其附加到状态 s 和动作 a 并将其插入神经网络以获得所选动作的状态近似值。这是正确的吗？
权重向量w的维度是如何确定的？
提前致谢！
伪代码中的w严格来说不一定是单个权重向量。本章开头的文字确实多次将 w 称为 "weight vector"，但伪代码本身只提到 w 是可微分 action-value 函数逼近器的参数。神经网络完全符合该描述。
在神经网络的情况下，您可以将 w 视为所有权重矩阵的组合（或者；您可以将其视为一个非常非常长的向量，由将所有权重矩阵展开为单个向量）。您可以将在 w 上执行更新的伪代码行视为神经网络中的常规反向传播，优化所有参数 w 以进行预测 q(S, A, w)稍微接近R + gamma*q(S', A', w)。
这一行伪代码基本上总结了在 w 是一个由神经网络的展开权重矩阵组成的巨大向量的情况下的整个反向传播过程。实际上，它不能用一行代码实现，因为网络早期层的偏导数（gradients-of-q 向量的分量）依赖于靠近输出层的偏导数层，因此必须按顺序计算它们（如果您熟悉神经网络，这就是您所知道的反向传播）。