如何计算具有跳过连接的块的感受野?
How to calculate receptive field of blocks with skip connection?
虽然有很多关于如何计算 CNN 感受野 (RF) 的资源(例如:http://fomoro.com/tools/receptive-fields),但我没有找到任何关于跳过连接的信息。在 [1] 中他们提到跳过连接会使有效 RF 变小,但是理论 RF 会发生什么变化?
归根结底,我想知道如何计算包含许多残差块的网络的感受野。
谢谢,
丹尼尔
TL;DR 计算接受域忽略所有跳过连接。
首先,在一般情况下,假设我们有两个数据流分支 - A 和 B。您可以独立计算分支 A 和 B 的感受野,然后在分支合并时简单地取最大值。 (你可以取最大值的原因是分支通常通过通道连接合并。)
现在,当一个分支是跳跃连接而另一个不是时,不是的分支会提供更大的感受野。如果您有许多跳过连接,则最长的路线(没有跳过连接)将提供最大的感受野。因此结果在 TL;DR.
如果您使用 inception block 之类的东西而不是简单的跳过连接,那么在分支之间获取最大值会变得更加复杂。
在这些情况下,您可能需要 compute the receptive field directly by definition.
虽然有很多关于如何计算 CNN 感受野 (RF) 的资源(例如:http://fomoro.com/tools/receptive-fields),但我没有找到任何关于跳过连接的信息。在 [1] 中他们提到跳过连接会使有效 RF 变小,但是理论 RF 会发生什么变化?
归根结底,我想知道如何计算包含许多残差块的网络的感受野。
谢谢, 丹尼尔
TL;DR 计算接受域忽略所有跳过连接。
首先,在一般情况下,假设我们有两个数据流分支 - A 和 B。您可以独立计算分支 A 和 B 的感受野,然后在分支合并时简单地取最大值。 (你可以取最大值的原因是分支通常通过通道连接合并。)
现在,当一个分支是跳跃连接而另一个不是时,不是的分支会提供更大的感受野。如果您有许多跳过连接,则最长的路线(没有跳过连接)将提供最大的感受野。因此结果在 TL;DR.
如果您使用 inception block 之类的东西而不是简单的跳过连接,那么在分支之间获取最大值会变得更加复杂。 在这些情况下,您可能需要 compute the receptive field directly by definition.