具有不显着回归变量的回归分析

Regression Analysis with insignificant regressors

我正在尝试使用多个解释变量来预测一个变量,每个解释变量都没有视觉可检测的关系,即每个回归变量和预测变量之间的散点图完全是平坦的云。

我采用了两种方法:

1) 运行 个别回归,产生根本不显着的关系。

2) 一旦我尝试了多变量回归的多种组合,我就得到了一些组合的显着关系(虽然它们并不稳健,也就是说,一个变量在一个设置中很重要,而在不同的设置中失去了重要性) .

我想知道,如果基于 1),即在个人基础上,似乎根本没有任何关系,我可以得出结论,多变量 apprroach 也注定会失败?

答案肯定是不保证失败。事实上,您已经在 #2 中观察到这种情况,您在多个预测变量设置中获得了重要的预测变量

1 个预测变量和 1 个结果之间的回归相当于两个变量之间的协方差或相关性。这是您在散点图中观察到的关系。

具有多个预测变量的回归(多元回归)具有完全不同的解释。假设你有一个像这样的模型:Y = b0 + b1X1 + b2X2

b1 被解释为 X1Y 保持 X2 不变 之间的关系。也就是说,您要控制此模型中 X2 的影响。这是多元回归的一个非常重要的特征。

看到这个,运行以下型号:

  1. Y = b0 + b1X1
  2. Y = b0 + b1X1 + b2X2

你会看到在这两种情况下 b1 的值是不同的。 b1 值之间的差异程度将取决于 X1X2

之间 covariance/correlation 的大小

仅仅因为 2 个变量之间的直接相关性不显着并不意味着这种关系将保持 non-significant 一旦您控制了其他预测变量的影响

#2 中的稳健性示例突出了这一点。为什么预测变量在某些模型中很重要,而当您使用另一个预测变量子集时 non-significant?正是因为您正在控制各种模型中不同变量的影响。

您选择控制哪些其他变量,以及最终选择使用哪个特定回归模型,取决于您的目标。