我如何在 scikit Learn 中优化我的随机森林模型 (Python)

Question

我有一个使用 scikit 学习的随机森林模型，如下所示：

model = RandomForestClassifier(criterion='gini',n_estimators=700,min_samples_split=4,min_samples_leaf=1,max_features='auto',oob_score=True,random_state=1,n_jobs=-1)
model.fit(X_train,y_train)
y_pred_rm=model.predict(X_test)
print('--------------The Accuracy of the model---------------------------')
kfold = KFold(n_splits=10, random_state=22)
result_rm = cross_val_score(model, all_features, Targeted_feature, cv=10, scoring = 'accuracy')
print('The cross validated score for Random Forest Classifier is:',round(result_rm.mean()*100,2))
y_pred = cross_val_predict(model,all_features,Targeted_feature,cv=10)
kfold = KFold(n_splits=5, random_state=22)
result_rm1 = cross_val_score(model, all_features, Targeted_feature, cv=5, scoring='accuracy')
print('The cross validated score (5)for Random Forest Classifier is:',round(result_rm1.mean()*100,2))
sns.heatmap(confusion_matrix(Targeted_feature,y_pred),annot=True,fmt='3.0f',cmap="winter")
plt.title('Confusion_matrix', y=1.05, size=15)

我一直在尝试优化我的模型，但还没有取得任何成功。我在测试数据集上达到的最高准确率是 78%。您有任何想法或步骤可以改进我的模型吗？

Answer 1

看来你已经尝试过超参调优了。是什么让您认为您可以获得高于 78% 的准确率分数？如果您在尝试对训练集进行预测时计算准确度得分，您是否接近 100% 的准确度？如果是这样，那么这是一个 过度拟合 的问题，您可以尝试减少 RandomForest 中的树的数量。

如果您没有获得非常高的训练准确率，那么可能您拥有的特征不足以对数据进行预测，您可以考虑收集更多特征。这个问题叫做underfitting.

Answer 2

如果没有尝试使用 sklearn 中的 GridSearchCV 或 RandomizedSearchCV，您是否尝试过使用超参数调整。即使那样，如果您无法提高模型分数，请尝试使用 XGboost 或进行特征工程以找到有用的特征来进行预测。

我希望您已经完成了所有必要的数据预处理，如果没有完成这些非常重要的事情。尝试其他机器学习模型，它们也有可能表现更好。

我如何在 scikit Learn 中优化我的随机森林模型 (Python)

How do I optimize my random forest model in scikit Learn (Python)

python

machine-learning

random-forest

scikit-learn