机器学习 - 找到边界有什么意义?

Machine Learning - What's the point of finding bounds?

我目前正在 Foundations of Machine Learning (Second Edition) textbook 的帮助下在大学学习机器学习。我了解了 PAC Learning、Rademacher Complexity、Growth Functions 和 VC-Dimension。在整个教科书和课程中,我们似乎花了很多时间来寻找界限。

我有点不明白我们为什么要这样做。

  1. 找到这些界限的意义到底是什么?
  2. 这些边界在现实世界的现场机器学习中是如何实际应用的?

教科书和我的教授都没有特别帮助回答我的问题。

谢谢。

Decision boundary is the basic principle to identify pattern (the most simplistic view to split something in 2 sets). From this, the Generalization Bounds 是:

In the theory of statistical machine learning, a generalization bound – or, more precisely, a generalization error bound – is a statement about the predictive performance of a learning algorithm or class of algorithms.

所以找到边界的全部意义是为了让您确定算法的性能(或效率)。

这似乎是一个微不足道的问题;因为答案很简单,因为学习算法可以搜索整个假设 space 寻找其最优解。虽然这个答案是正确的,但鉴于我们正在研究的泛化不等式,我们需要一个更正式的答案。

如果你的问题更像是:为什么很多时间(所以你强调花在这上面的时间),或者换句话说:为什么我们需要考虑每一个可能的假设? (more):

This may seem like a trivial question; as the answer is simply that because the learning algorithm can search the entire hypothesis space looking for its optimal solution. While this answer is correct, we need a more formal answer in light of the generalization inequality we’re studying.