直接支持多个 类 的逻辑回归
Logistic Regression to support multiple classes directly
我的理解是 Softmax 回归是逻辑回归的泛化，以支持多个 classes。
Softmax 回归模型首先计算每个 class 的分数，然后通过将 softmax 函数应用于分数来估计每个 class 的概率。
每个class都有自己专用的参数向量
我的问题： 为什么我们不能使用逻辑回归 class 以更简单的方式验证多个 classes 就像概率是0 到 0.3 然后 Class A ； 0.3 到 0.6 然后 Class B : 0.6 到 0.9 然后 Class C 等等
为什么总是需要单独的系数向量？
我是机器学习新手。不知道这个问题是不是因为缺乏基本概念理解。
首先，在术语方面，我想说一个更成熟的术语是multinomial logistic regression。
Softmax 函数是计算概率的自然选择，因为它 corresponds to MLE. Cross-entropy loss 也具有概率解释 - 即两个分布（输出和目标）之间的 "distance"。
您的建议是以人为方式区分 classes - 输出二进制分布并以某种方式将其与多 class 分布进行比较。从理论上讲，这是可能的并且可能会起作用，但肯定有缺点。例如，训练起来更难。
假设输出是 0.2（即 class A）并且基本事实是 class B。您想告诉网络转向更高的值。下一次，输出是 0.7 - 网络实际上学习并朝着正确的方向移动，但你再次惩罚它。事实上，存在不稳定点（0.3 和 0.6 在你的例子中）网络需要时间来学习关键点。两个值 - 0.2999999 和 0.3000001 对于网络来说几乎无法区分，但它们决定了结果是否正确。
一般来说，作为概率分布的输出总是优于直接判别，因为它提供了更多信息。
我的理解是 Softmax 回归是逻辑回归的泛化，以支持多个 classes。
Softmax 回归模型首先计算每个 class 的分数，然后通过将 softmax 函数应用于分数来估计每个 class 的概率。
每个class都有自己专用的参数向量
我的问题： 为什么我们不能使用逻辑回归 class 以更简单的方式验证多个 classes 就像概率是0 到 0.3 然后 Class A ； 0.3 到 0.6 然后 Class B : 0.6 到 0.9 然后 Class C 等等
为什么总是需要单独的系数向量？
我是机器学习新手。不知道这个问题是不是因为缺乏基本概念理解。
首先，在术语方面，我想说一个更成熟的术语是multinomial logistic regression。
Softmax 函数是计算概率的自然选择，因为它 corresponds to MLE. Cross-entropy loss 也具有概率解释 - 即两个分布（输出和目标）之间的 "distance"。 您的建议是以人为方式区分 classes - 输出二进制分布并以某种方式将其与多 class 分布进行比较。从理论上讲，这是可能的并且可能会起作用，但肯定有缺点。例如，训练起来更难。
假设输出是 0.2（即 class A）并且基本事实是 class B。您想告诉网络转向更高的值。下一次，输出是 0.7 - 网络实际上学习并朝着正确的方向移动，但你再次惩罚它。事实上，存在不稳定点（0.3 和 0.6 在你的例子中）网络需要时间来学习关键点。两个值 - 0.2999999 和 0.3000001 对于网络来说几乎无法区分，但它们决定了结果是否正确。
一般来说，作为概率分布的输出总是优于直接判别，因为它提供了更多信息。