Possible/Practical 卷积核的形状和数量是动态的吗？
Is It Possible/Practical to Have the Shape and Amount of Convolution Kernels be Dynamic?
我对 CNN 有相当基本的了解。然而，我看到了这篇论文：http://www.cs.tau.ac.il/~wolf/papers/dynconv.pdf，我想知道是否可以让 CNN 决定卷积核的大小和数量（可能不是同一个 CNN 中的这两个东西）。以前有没有做过类似的想法（结果如何）？我是不是遗漏了一个关于 CNN 的数学，它明显表明这是不可行的？
对离散对象（整数）的优化通常非常困难，它会导致组合优化，这不是一种可行的学习方法。这就是为什么更典型的是 太多 参数、神经元、层或内核 - 并简单地增加复杂性的惩罚，以便您的模型 "prefers" 使用尽可能少的而不是尝试对结构进行 "proper" 优化。所以，是的，这里有一个非常重要的大数学问题——你无法区分架构，而差异化是几乎所有现代 ML 技术（尤其是 CNN）的驱动力。
话虽这么说，但仍有数十篇甚至数百篇论文试图通过对这些变量应用各种元优化方法来做到这一点（因为，如前所述 - 你不能应用 "good" 优化和你几乎只剩下启发式了）。结果如何？通常你会以巨大的计算成本为代价得到轻微的增加（因为你通常训练很多模型而不是一个模型）。因此，我从未见过基于这种方法的真实 "state of the art results" - 通常通过创建模型集合（如 10 个神经网络）来建立具有额外惩罚和方差减少的完善架构更强大，特别是考虑到典型 engineering/computational预算。
我对 CNN 有相当基本的了解。然而，我看到了这篇论文：http://www.cs.tau.ac.il/~wolf/papers/dynconv.pdf，我想知道是否可以让 CNN 决定卷积核的大小和数量（可能不是同一个 CNN 中的这两个东西）。以前有没有做过类似的想法（结果如何）？我是不是遗漏了一个关于 CNN 的数学，它明显表明这是不可行的？
对离散对象（整数）的优化通常非常困难，它会导致组合优化，这不是一种可行的学习方法。这就是为什么更典型的是 太多 参数、神经元、层或内核 - 并简单地增加复杂性的惩罚，以便您的模型 "prefers" 使用尽可能少的而不是尝试对结构进行 "proper" 优化。所以，是的，这里有一个非常重要的大数学问题——你无法区分架构，而差异化是几乎所有现代 ML 技术（尤其是 CNN）的驱动力。
话虽这么说，但仍有数十篇甚至数百篇论文试图通过对这些变量应用各种元优化方法来做到这一点（因为，如前所述 - 你不能应用 "good" 优化和你几乎只剩下启发式了）。结果如何？通常你会以巨大的计算成本为代价得到轻微的增加（因为你通常训练很多模型而不是一个模型）。因此，我从未见过基于这种方法的真实 "state of the art results" - 通常通过创建模型集合（如 10 个神经网络）来建立具有额外惩罚和方差减少的完善架构更强大，特别是考虑到典型 engineering/computational预算。