我们可以使用正态方程进行逻辑回归吗？
Can we use Normal Equation for Logistic Regression ?
就像我们在线性回归中使用Normal Equation来找出最佳θ值一样，can/can我们在逻辑回归中不也使用类似的公式吗？如果不是，为什么？如果有人可以解释其背后的原因，我将不胜感激。谢谢。
很遗憾没有，分类理论中只有两种方法有封闭形式的解——线性回归和线性判别 analysis/fischer 判别。
总的来说，即使对于线性回归它也“有效”，这被认为是一个奇迹。据我所知，几乎不可能证明“你不能以封闭形式解决逻辑回归”，但普遍的理解是，情况永远不会如此。你可以做到，如果你的特征只是二进制的，而且你只有很少的特征（因为解决方案的特征数量是指数级的），这在几年前就已经显示出来了，但在一般情况下 - 它被认为是不可能的.
那么为什么它对线性回归如此有效？因为一旦你计算了你的导数，你会注意到，由此产生的问题是一组线性方程，m个方程和m个变量，我们知道可以通过矩阵求逆（和其他技术）直接求解.当您区分逻辑回归成本时，结果问题不再是线性的......它是凸的（因此是全局最优的），但不是线性的，因此 - 当前的数学没有为我们提供足够强大的工具来找到封闭形式的最优解.
也就是说，如果您的所有输入变量都是分类变量（它们只能采用您可以枚举的有限多个值），则存在（在计算上绝对不切实际）封闭形式的解决方案：https://www.tandfonline.com/doi/abs/10.1080/02664763.2014.932760?journalCode=cjas20
是的，如果我们开发一个数学模型来解决成本函数的微分形式，即线性回归的情况是 'matrix' 及其逆函数。但是到目前为止，还没有这样的工具可用。所以到现在一个大NO.
是的，但我不确定到什么程度。
这适用于二元逻辑回归。
请注意，我们处理的是逻辑回归而不是线性回归。
因此，如果我们按原样使用正规方程，它应该用于线性回归，则 theta 的解将只适用于 y = 0s，而不是 1s 和 0s。
正确的解法是将1和0的二元逻辑项y变成线性项。很简单，
根据 theta * x 的逻辑函数 y：
y = 1/( 1 + e**(-thetax)) #对应线性回归 y=thetax
以 y 表示的 thetax：
θx = -ln(1/y -1)
这意味着，正规方程中的[0 1]的y变为[-inf inf]。由于 inf 项不适用于正规方程，我们可以使用约 [-99999 99999]。越近越好。
简而言之，从y=[0s 1s]到y=[-999s 999s]。
就像我们在线性回归中使用Normal Equation来找出最佳θ值一样，can/can我们在逻辑回归中不也使用类似的公式吗？如果不是，为什么？如果有人可以解释其背后的原因，我将不胜感激。谢谢。
很遗憾没有，分类理论中只有两种方法有封闭形式的解——线性回归和线性判别 analysis/fischer 判别。
总的来说，即使对于线性回归它也“有效”，这被认为是一个奇迹。据我所知，几乎不可能证明“你不能以封闭形式解决逻辑回归”，但普遍的理解是，情况永远不会如此。你可以做到，如果你的特征只是二进制的，而且你只有很少的特征（因为解决方案的特征数量是指数级的），这在几年前就已经显示出来了，但在一般情况下 - 它被认为是不可能的.
那么为什么它对线性回归如此有效？因为一旦你计算了你的导数，你会注意到，由此产生的问题是一组线性方程，m个方程和m个变量，我们知道可以通过矩阵求逆（和其他技术）直接求解.当您区分逻辑回归成本时，结果问题不再是线性的......它是凸的（因此是全局最优的），但不是线性的，因此 - 当前的数学没有为我们提供足够强大的工具来找到封闭形式的最优解.
也就是说，如果您的所有输入变量都是分类变量（它们只能采用您可以枚举的有限多个值），则存在（在计算上绝对不切实际）封闭形式的解决方案：https://www.tandfonline.com/doi/abs/10.1080/02664763.2014.932760?journalCode=cjas20
是的，如果我们开发一个数学模型来解决成本函数的微分形式，即线性回归的情况是 'matrix' 及其逆函数。但是到目前为止，还没有这样的工具可用。所以到现在一个大NO.
是的，但我不确定到什么程度。 这适用于二元逻辑回归。
请注意，我们处理的是逻辑回归而不是线性回归。 因此，如果我们按原样使用正规方程，它应该用于线性回归，则 theta 的解将只适用于 y = 0s，而不是 1s 和 0s。
正确的解法是将1和0的二元逻辑项y变成线性项。很简单，
根据 theta * x 的逻辑函数 y： y = 1/( 1 + e**(-thetax)) #对应线性回归 y=thetax 以 y 表示的 thetax： θx = -ln(1/y -1)
这意味着，正规方程中的[0 1]的y变为[-inf inf]。由于 inf 项不适用于正规方程，我们可以使用约 [-99999 99999]。越近越好。
简而言之，从y=[0s 1s]到y=[-999s 999s]。