LSTM 单元如何映射到层?
How does LSTM cell map to layers?
我无法准确理解 LSTM 单元的范围——它如何映射到网络层。来自格雷夫斯 (2014):
在我看来,在单层网络中,layer = lstm cell。这在多层 rnn 中实际如何工作?
三层RNN
LSTM 单元
单元格的输出是h_t,没有指示特定层的超索引。方程式也一样。每个单元是否跨越一个层?或者每个单元是否在每个时间步跨过整个三个节点?
图 1 中名称为 h
的每个节点代表一个 LSTM 单元。请注意,具有相同超索引的 h_{t-1}
、h{t}
和 h{t+1}
是同一个单元格。它们只是及时展开。然而,不同的superindices代表不同的LSTM单元。
超级索引为 2 或 3 的单元格的输入不仅是数据样本 x
,而且是前一个单元格的输出。
你是对的。单层 RNN 网络由一个 LSTM 单元组成。在多层 RNN 的情况下,中间 LSTM 单元的输入是前一个 LSTM 单元的输出。在图 1 中,数据样本 x
也与 LSTM 输出一起馈送。
我无法准确理解 LSTM 单元的范围——它如何映射到网络层。来自格雷夫斯 (2014):
在我看来,在单层网络中,layer = lstm cell。这在多层 rnn 中实际如何工作?
三层RNN
LSTM 单元
单元格的输出是h_t,没有指示特定层的超索引。方程式也一样。每个单元是否跨越一个层?或者每个单元是否在每个时间步跨过整个三个节点?
图 1 中名称为 h
的每个节点代表一个 LSTM 单元。请注意,具有相同超索引的 h_{t-1}
、h{t}
和 h{t+1}
是同一个单元格。它们只是及时展开。然而,不同的superindices代表不同的LSTM单元。
超级索引为 2 或 3 的单元格的输入不仅是数据样本 x
,而且是前一个单元格的输出。
你是对的。单层 RNN 网络由一个 LSTM 单元组成。在多层 RNN 的情况下,中间 LSTM 单元的输入是前一个 LSTM 单元的输出。在图 1 中,数据样本 x
也与 LSTM 输出一起馈送。