使用 XGBoost 进行超参数网格搜索 - 评分函数与评估指标

Question

处理不平衡数据集问题（7% 对 93%），我想使用 grid search cross-validation 找出我的 xgboost 模型的最佳结构。 注意：我正在使用分层 k 折交叉验证来确保每个折具有正确比例的少数 class。

我的情况如下，我注意到 GridSearchCV 有一个名为 'scoring' 的参数，我可以向其传递多个 sklearn.metrics as shown here. 但是，xgboost 也有一个名为 'eval_metric' 的参数我对两者有点困惑。如果有区别，你能解释一下吗？指定它的正确位置在哪里？

我将附上一点代码来说明它：

params_grid = {
'n_estimators': [100, 300],
'learning_rate': [0.01, 0.1, 0.3],
'colsample_bytree': [0.3, 0.5],
}

params_fixed = {
    'objective':'binary:logistic',
    'silent':1,
    'eval_metric':'auc'
}


n_folds = 5
skf = StratifiedKFold(n_splits=n_folds,random_state=seed,shuffle=True)

# create xgboost classifier
xgb = XGBClassifier(**params_fixed, seed=seed)

grid_search = GridSearchCV(estimator=xgb, param_grid=params_grid, 
                               cv=skf.split(X_train, y_train), scoring='balanced_accuracy')

另外，对于我的情况，您会推荐使用哪个函数？它可以来自 skearn.metrics 甚至是自定义的，但我还不知道如何写。请注意，我的问题是召回率和精确率之间的权衡问题，但召回率对我来说是最重要的，因为我想在 99% 的情况下检测少数 class。

Answer 1

把我的评论变成一个答案，没有任何绕过，一切仍然有效，但它没有意义。每个算法都会最大化您告诉它的指标，因此在您的示例中，xgboost 将构建树以最大化 auc，并且网格搜索将找到使准确性最大化的超参数。这显然没有意义。

因此，您应该将两个指标设置为相同，无论是 AUC、召回率还是您认为适合您的问题的任何指标；对于不平衡的数据集，AUC 是一个不错的选择，或者您可以选择对召回率更平衡的 F 分数。

使用 XGBoost 进行超参数网格搜索 - 评分函数与评估指标

Hyperparameter Grid Search with XGBoost - Scoring function vs Evaluation Metric

python

machine-learning

scikit-learn

xgboost

data-science