神经网络 - 深度自动编码器和堆叠式自动编码器之间的区别

Neural Networks - Difference between deep autoencoder and stacked autoencoder

免责声明:我也在 CrossValidated 上发布了这个问题,但没有受到任何关注。如果这不是放置它的地方,我会很乐意将其删除。

据我了解,它们之间的唯一区别是两个网络的训练方式。深度自动编码器的训练方式与单层神经网络相同,而堆叠式自动编码器则采用贪婪的逐层方法进行训练。 Hugo Larochelle 在 video 的评论中证实了这一点。我想知道这是否是唯一的区别,有任何指示吗?

该领域的术语并不固定,well-cut 定义明确,不同的研究可能意味着不同的事物或为相同的术语添加不同的方面。示例讨论:

至于 AE,根据各种消息来源,深度自动编码器堆叠自动编码器完全同义词,例如,这里引用 "Hands-On Machine Learning with Scikit-Learn and TensorFlow":

Just like other neural networks we have discussed, autoencoders can have multiple hidden layers. In this case they are called stacked autoencoders (or deep autoencoders).

稍后,作者讨论了两种训练自动编码器的方法,并交替使用这两个术语。

我同意术语 "stacked" 的 看法 是自动编码器可以使用新层扩展而无需重新训练,但这实际上是正确的,无论现有的方式如何层已经过训练(联合或单独)。此外,无论训练方法如何,研究可能会或可能不会称其为足够深。所以我不会过分关注术语。它有一天会稳定下来,但不是现在。