SVM - 能量与损失与正则化与成本函数之间的差异

Question

我正在阅读 A Tutorial on Energy Based Learning and I am trying to understand the difference between all those terms stated above in the context of SVMs. This link 总结了损失、成本和 objective 函数之间的区别。根据我的理解，

Objective function：我们想要最小化的东西。例如 ||w||^2 用于 SVM。

Loss function: prediction and label 之间的惩罚，也相当于正则化项。示例是 SVM 中的铰链损失函数。

成本函数：结合objective和损失函数的通用公式。

现在，第一个 link 指出铰链函数是 max(0, m + E(W,Yi,Xi) - E(W,Y,X)) 即它是能量项的函数。这是否意味着 SVM 的能量函数是 1 - y(wx + b) ？能量函数是损失函数的一部分吗？损失函数 + objective 成本函数的一部分 ?

对这 4 个术语进行简要总结将极大地帮助我理解。另外，如果我的理解有误，请纠正我。这些术语听起来很混乱。谢谢！

Answer 1

Objective function: Something we want to minimize. For example ||w||^2 for SVM.

Objective 函数是 - 顾名思义 - objective 优化 。它可以是我们想要最小化（如成本函数）或最大化（如似然）的东西。一般来说 - 衡量我们当前解决方案有多好的函数（通常通过返回一个实数）

Loss function: Penalty between prediction and label which is also equivalent to the regularization term. Example is the hinge loss function in SVM.

首先，损失在任何意义上都不等同于正则化。损失函数是模型和真相之间的一种惩罚。这可以是 class 条件分布与真实标签的预测，因此也可以是数据分布与经验样本，等等。

Regularization

正则化是一个术语，惩罚，措施，应该是对过于复杂的模型的惩罚。在 ML 中，或者通常在统计中处理估计量时，您总是试图平衡两个误差源 - 方差（来自过于复杂的模型、过度拟合）和偏差（来自过于简单的模型、糟糕的学习方法、欠拟合）。正则化是一种在优化过程中惩罚高方差模型以减少过度拟合的技术。换句话说 - 对于可以完美适合训练集的技术，重要的是要有一个禁止它的措施以保持泛化能力。

Cost function: A general formulation that combines the objective and loss function.

成本函数只是一个 objective 函数，其中 最小化了 。它可以由一些损失函数和正则化器的集合组成。

Now, the 1st link states that the hinge function is max(0, m + E(W,Yi,Xi) - E(W,Y,X)) i.e. it is a function of the energy term. Does that mean that the energy function of the SVM is 1 - y(wx + b) ? Are energy functions are a part of a loss function. And a loss + objective function a part of the cost function ?

铰链损失为max(0, 1 - y(<w,x> - b))。这里定义的不是 SVM，而是一般因子图，我强烈建议从 basics 而不是高级技术开始学习 ML。如果不充分理解 ML 的基础知识，就无法理解本文。

使用 SVM 和命名约定来展示示例

C SUM_i=1^N max(0, 1 - y_i(<w, x_i> - b)) + ||w||^2

            \__________________________/    \_____/
                         loss            regularization
\_________________________________________________/
            cost / objective function

SVM - 能量与损失与正则化与成本函数之间的差异

SVM - Difference between Energy vs Loss vs Regularization vs Cost function

artificial-intelligence

machine-learning