深度神经网络是逐层学习还是一次学习所有层?

Are deep neural networks taught layer by layer or all layers at once?

我正在努力掌握深度神经网络的概念。当解释它们时,他们基本上说网络的每一层代表一个抽象层次,例如,第一层是关于边缘的,下一层是关于形状的,比如轮子,下一层是关于轮子加起来的,像汽车。

这张图片几乎代表了这个概念:

计算每一层的权重时,是一次一层完成还是所有层一起完成。你是先 运行 AI 处理一组标记有不同类型边缘的图像,然后是一组标记有轮子之类的图像,然后是一组标记有汽车的图像,还是让网络计算为了自己?

你没有为深度网络提供每一层的监督,这在构建数据集方面太复杂了。您在这些幻灯片上看到的是对正在发生的事情的解释其自身,而不是我们强制执行的。有layer-by-layer技术(现在不太流行)和everything-jointly(流行知道),但是它们都没有使用额外的监督,你不告诉网络提取边缘,它只是从优化问题和网络结构中产生在实践中。

然而,也有一些深层架构没有这个 属性,比如 https://arxiv.org/abs/1603.09382 或一般 - 递归网络(在这个意义上也是 "deep")。因此,不要将其视为深度学习的属性,这只是处理特定数据时的常见经验观察,仅此而已。