导出模型可学习参数

Deriving Model learnable parameters

我有 1000 个输入属性,我试图将它们归类为 100 个类别。 使用multi-class逻辑回归进行训练,需要学习多少个模型参数? 是 (1000*100 + 100) 还是 1000+100?

逻辑回归是一种二进制class化模型,这意味着它只能从另一个class中识别一个。为了将其应用于多class class化需要对其进行修改,并且没有“唯一的方法”这样做,但有一些常见的方法:

“最标准”的方法是“1 vs ALL classification”,这意味着您有效地构建了 100 个逻辑回归模型,每个模型识别一个 class 与所有其他模型,在此如果你有 100*(1000 + 1) 个参数。

另一种选择是“一对一”方法,即为每对 classes 构建逻辑回归,从而得出 100*(100-1)/2 * (1000 + 1)参数.

最后,原则上你可以训练一个只有 1000 + 100 个参数的模型,其中每个 class 只有自己的偏差,但投影是固定的,但是这没有意义,除非你的类别是 可订购.