在动态 RNN 中设置初始状态
Setting initial state in dynamic RNN
基于link:
https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn
在示例中,显示 "initial state" 在 第一个示例中定义,而不是在第二个示例 中定义。谁能解释一下初始状态的目的是什么?如果我不设置它与我设置它有什么区别?是否仅在单个 RNN 单元中需要,而在堆叠单元中不需要,如 link 中提供的示例?
我目前正在调试我的 RNN 模型,因为它似乎将不同的问题归为同一类别,这很奇怪。我怀疑这可能与我没有设置单元格的初始状态有关。
Could anyone please explain what is the purpose of initial state?
正如我们所知,状态矩阵是时间步长 1 和时间步长 2 中隐藏神经元之间的权重。它们连接了两个时间步长的隐藏神经元。因此,它们保存来自先前时间步长的图层的时间数据。
通过 initial_state=
参数提供初始训练的状态矩阵为 RNN 单元提供其先前激活的训练记忆。
What's the difference if I don't set it vs if I set it?
如果我们设置已经在其他模型或先前模型上训练过的初始权重,这意味着我们正在恢复 RNN 单元的记忆,因此它不必从头开始。
在 TF 文档中,他们已将 initial_state
初始化为 zero_state
矩阵。
如果您不设置 initial_state
,它将像其他权重矩阵一样从头开始训练。
Is it only required in a single RNN cell and not in a stacked cell like in the example provided in the link?
我完全不知道为什么他们没有在 Stacked RNN 示例中设置 initial_state
,但是每种类型的 RNN 都需要 initial_state,因为它保留了时间跨时间步的特征。
也许,Stacked RNN 是文档中的兴趣点,而不是 initial_state
的设置。
提示:
在大多数情况下,您不需要为 RNN 设置 initial_state
。 TensorFlow 可以为我们高效地处理这个问题。在seq2seq RNN的情况下,可能会用到这个属性。
您的 RNN 可能面临其他问题。您的 RNN 会建立自己的记忆并且不需要加电。
基于link:
https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn
在示例中,显示 "initial state" 在 第一个示例中定义,而不是在第二个示例 中定义。谁能解释一下初始状态的目的是什么?如果我不设置它与我设置它有什么区别?是否仅在单个 RNN 单元中需要,而在堆叠单元中不需要,如 link 中提供的示例?
我目前正在调试我的 RNN 模型,因为它似乎将不同的问题归为同一类别,这很奇怪。我怀疑这可能与我没有设置单元格的初始状态有关。
Could anyone please explain what is the purpose of initial state?
正如我们所知,状态矩阵是时间步长 1 和时间步长 2 中隐藏神经元之间的权重。它们连接了两个时间步长的隐藏神经元。因此,它们保存来自先前时间步长的图层的时间数据。
通过 initial_state=
参数提供初始训练的状态矩阵为 RNN 单元提供其先前激活的训练记忆。
What's the difference if I don't set it vs if I set it?
如果我们设置已经在其他模型或先前模型上训练过的初始权重,这意味着我们正在恢复 RNN 单元的记忆,因此它不必从头开始。
在 TF 文档中,他们已将 initial_state
初始化为 zero_state
矩阵。
如果您不设置 initial_state
,它将像其他权重矩阵一样从头开始训练。
Is it only required in a single RNN cell and not in a stacked cell like in the example provided in the link?
我完全不知道为什么他们没有在 Stacked RNN 示例中设置 initial_state
,但是每种类型的 RNN 都需要 initial_state,因为它保留了时间跨时间步的特征。
也许,Stacked RNN 是文档中的兴趣点,而不是 initial_state
的设置。
提示:
在大多数情况下,您不需要为 RNN 设置 initial_state
。 TensorFlow 可以为我们高效地处理这个问题。在seq2seq RNN的情况下,可能会用到这个属性。
您的 RNN 可能面临其他问题。您的 RNN 会建立自己的记忆并且不需要加电。