什么是神经网络中的 'layer'
what is a 'layer' in a neural network
下面我画了一个典型的前馈神经网络:
现在我的问题是,就行话而言,层是什么?
是否可以将每个单独的进程(矩形)视为一个层?还是一层是流程图的单行组合?有时我将 Multiply + Add 视为单层,将非线性函数 (relu) 视为单独的层。但我真的很感激一个明确的答案。
我经常发现在教人们学习神经网络的在线视频中,讲师自己在一个示例中混淆了层数。
在你的图表中,每一行本质上都是一层。但正如@beaker 所说,这并不是可视化神经网络的最佳方式。
从 here 中截取一张图片将有助于说明这一点。
层是一个通用术语,适用于 'nodes' 在神经网络中的特定深度一起运行的集合。
输入层包含您的原始数据(您可以将每个变量视为一个'node')。
隐藏层 是神经网络中 黑魔法 发生的地方。每一层都试图通过最小化 error/cost 函数来 学习 数据的不同方面。理解这些层最直观的方式是在 'image recognition' 的上下文中,比如人脸。第一层可以学习边缘检测,第二层可以检测眼睛,第三层可以检测鼻子,等等。这并不是正在发生的事情,但我们的想法是将问题分解成不同层次的抽象可以拼凑在一起的组件,就像我们的自己的大脑工作(因此得名 'neural networks')。
输出层是最简单的,通常由单个输出组成,用于分类问题。尽管它是单个 'node',但它仍被视为神经网络中的 层 ,因为它可以包含多个节点。
神经网络的核心构建块是层,一个数据处理模块
您可以将其视为数据过滤器。一些数据输入,然后以更有用的方式输出
形式。具体来说,层从输入它们的数据中提取表示——希望如此,
对手头的问题更有意义的表示。大多数
深度学习包括将实现某种形式的简单层链接在一起
渐进式数据蒸馏。深度学习模型就像一个用于数据处理的筛子,
由一系列越来越精细的数据过滤器——层组成。
Goodfellow, 2016 在他的书 "Deep Learning" 中,将网络定义为函数组合,其中每个函数是一个层:
然而,从最初的问题来看,我不会将可以向量化(乘法和加偏置)的事物视为单独的层,尽管 ReLU 或其他激活函数最常被视为层,这也符合给出的定义好家伙。
下面我画了一个典型的前馈神经网络:
现在我的问题是,就行话而言,层是什么?
是否可以将每个单独的进程(矩形)视为一个层?还是一层是流程图的单行组合?有时我将 Multiply + Add 视为单层,将非线性函数 (relu) 视为单独的层。但我真的很感激一个明确的答案。
我经常发现在教人们学习神经网络的在线视频中,讲师自己在一个示例中混淆了层数。
在你的图表中,每一行本质上都是一层。但正如@beaker 所说,这并不是可视化神经网络的最佳方式。
从 here 中截取一张图片将有助于说明这一点。
层是一个通用术语,适用于 'nodes' 在神经网络中的特定深度一起运行的集合。
输入层包含您的原始数据(您可以将每个变量视为一个'node')。
隐藏层 是神经网络中 黑魔法 发生的地方。每一层都试图通过最小化 error/cost 函数来 学习 数据的不同方面。理解这些层最直观的方式是在 'image recognition' 的上下文中,比如人脸。第一层可以学习边缘检测,第二层可以检测眼睛,第三层可以检测鼻子,等等。这并不是正在发生的事情,但我们的想法是将问题分解成不同层次的抽象可以拼凑在一起的组件,就像我们的自己的大脑工作(因此得名 'neural networks')。
输出层是最简单的,通常由单个输出组成,用于分类问题。尽管它是单个 'node',但它仍被视为神经网络中的 层 ,因为它可以包含多个节点。
神经网络的核心构建块是层,一个数据处理模块 您可以将其视为数据过滤器。一些数据输入,然后以更有用的方式输出 形式。具体来说,层从输入它们的数据中提取表示——希望如此, 对手头的问题更有意义的表示。大多数 深度学习包括将实现某种形式的简单层链接在一起 渐进式数据蒸馏。深度学习模型就像一个用于数据处理的筛子, 由一系列越来越精细的数据过滤器——层组成。
Goodfellow, 2016 在他的书 "Deep Learning" 中,将网络定义为函数组合,其中每个函数是一个层:
然而,从最初的问题来看,我不会将可以向量化(乘法和加偏置)的事物视为单独的层,尽管 ReLU 或其他激活函数最常被视为层,这也符合给出的定义好家伙。