具有不显着回归变量的回归分析
Regression Analysis with insignificant regressors
我正在尝试使用多个解释变量来预测一个变量,每个解释变量都没有视觉可检测的关系,即每个回归变量和预测变量之间的散点图完全是平坦的云。
我采用了两种方法:
1) 运行 个别回归,产生根本不显着的关系。
2) 一旦我尝试了多变量回归的多种组合,我就得到了一些组合的显着关系(虽然它们并不稳健,也就是说,一个变量在一个设置中很重要,而在不同的设置中失去了重要性) .
我想知道,如果基于 1),即在个人基础上,似乎根本没有任何关系,我可以得出结论,多变量 apprroach 也注定会失败?
答案肯定是否,不保证失败。事实上,您已经在 #2 中观察到这种情况,您在多个预测变量设置中获得了重要的预测变量
1 个预测变量和 1 个结果之间的回归相当于两个变量之间的协方差或相关性。这是您在散点图中观察到的关系。
具有多个预测变量的回归(多元回归)具有完全不同的解释。假设你有一个像这样的模型:Y = b0 + b1X1 + b2X2
b1
被解释为 X1
和 Y
保持 X2
不变 之间的关系。也就是说,您要控制此模型中 X2
的影响。这是多元回归的一个非常重要的特征。
看到这个,运行以下型号:
Y = b0 + b1X1
Y = b0 + b1X1 + b2X2
你会看到在这两种情况下 b1
的值是不同的。 b1
值之间的差异程度将取决于 X1
和 X2
之间 covariance/correlation 的大小
仅仅因为 2 个变量之间的直接相关性不显着并不意味着这种关系将保持 non-significant 一旦您控制了其他预测变量的影响
#2 中的稳健性示例突出了这一点。为什么预测变量在某些模型中很重要,而当您使用另一个预测变量子集时 non-significant?正是因为您正在控制各种模型中不同变量的影响。
您选择控制哪些其他变量,以及最终选择使用哪个特定回归模型,取决于您的目标。
我正在尝试使用多个解释变量来预测一个变量,每个解释变量都没有视觉可检测的关系,即每个回归变量和预测变量之间的散点图完全是平坦的云。
我采用了两种方法:
1) 运行 个别回归,产生根本不显着的关系。
2) 一旦我尝试了多变量回归的多种组合,我就得到了一些组合的显着关系(虽然它们并不稳健,也就是说,一个变量在一个设置中很重要,而在不同的设置中失去了重要性) .
我想知道,如果基于 1),即在个人基础上,似乎根本没有任何关系,我可以得出结论,多变量 apprroach 也注定会失败?
答案肯定是否,不保证失败。事实上,您已经在 #2 中观察到这种情况,您在多个预测变量设置中获得了重要的预测变量
1 个预测变量和 1 个结果之间的回归相当于两个变量之间的协方差或相关性。这是您在散点图中观察到的关系。
具有多个预测变量的回归(多元回归)具有完全不同的解释。假设你有一个像这样的模型:Y = b0 + b1X1 + b2X2
b1
被解释为 X1
和 Y
保持 X2
不变 之间的关系。也就是说,您要控制此模型中 X2
的影响。这是多元回归的一个非常重要的特征。
看到这个,运行以下型号:
Y = b0 + b1X1
Y = b0 + b1X1 + b2X2
你会看到在这两种情况下 b1
的值是不同的。 b1
值之间的差异程度将取决于 X1
和 X2
仅仅因为 2 个变量之间的直接相关性不显着并不意味着这种关系将保持 non-significant 一旦您控制了其他预测变量的影响
#2 中的稳健性示例突出了这一点。为什么预测变量在某些模型中很重要,而当您使用另一个预测变量子集时 non-significant?正是因为您正在控制各种模型中不同变量的影响。
您选择控制哪些其他变量,以及最终选择使用哪个特定回归模型,取决于您的目标。