R - 如何创建堆垛机合奏？

Question

我需要创建一个堆叠器集成，我是否将每个分类器输出的每个汇总准确率百分比与一个新分类器组合起来

NBayes

Result = 0.61% accuracy

K-NN (k = 5)

Result = 0.63% accuracy

K-NN (k = 10)

Result = 0.64% accuracy

决策树

Result = 0.60% accuracy

逻辑回归

Result = 0.62% accuracy

对这 5 个百分比进行分类？

或者我需要结合许多预测的输出例如类似于 table:

NB   k = 5  k = 10  dectree   Logistic   TrueLabel    
bob    1      1      bob       FALSE       bob
bob    2      2      john      TRUE        john
bob    1      1      bob       TRUE        bob

如果这样，那么输出是否不同是否重要，即它们都应该是 bob 还是 john，而不是 true 或 false 或 1 或 2？

我应该使用什么分类器将它们结合起来？

Answer 1

为了创建堆叠合奏，您需要使用您在问题末尾创建的 table，即：

NB   k = 5  k = 10  dectree   Logistic   TrueLabel    
bob    1      1      bob       FALSE       bob
bob    2      2      john      TRUE        john
bob    1      1      bob       TRUE        bob

'should they all be either bob or john instead of true or false or 1 or 2?' 的答案是，这取决于您将用于组合各个模型的模型。 r 中的大多数模型都使用一些因素，在这种情况下，让它们保持原样就好了。确保您的第一列和第二列（具有数值）也被视为因素，否则它们将被视为数字而您不希望这样（许多模型会从一个因素中创建虚拟变量，如果您的列是数字那么这不会发生）。总结上述所有列的使用因子，但请阅读组合模型的文档（稍后会介绍）以查看它是否接受因子作为输入。

关于您需要使用什么模型来组合输入的另一个问题，答案是：'any model you like'。通常的做法是使用简单的逻辑回归，但这不会阻止您选择任何您喜欢的其他东西。这个想法是使用您的原始变量（您用来训练各个模型的变量）加上您创建的上述 table（即各个模型的预测），看看新的准确性是否会比各个模型更好.在新的组合模型中，您仍然可以使用向前或向后选择等特征消除技术来删除无关紧要的变量。

我希望这能回答你的问题。

R - 如何创建堆垛机合奏？

R - How to create a stacker ensemble?

statistics

r

machine-learning

ensemble-learning