如何使用 GridSearchCV 获得每组参数的预测？

Question

我正在尝试使用带有以下代码的 GridSearchCV 为 NN 回归模型找到最佳参数：

param_grid = dict(optimizer=optimizer, epochs=epochs, batch_size=batches, init=init
grid = GridSearchCV(estimator=model, param_grid=param_grid, scoring='neg_mean_squared_error')
grid_result = grid.fit(input_train, target_train)

pred = grid.predict(input_test)

据我了解，grid.predict(input_test) 使用最佳参数来预测给定的输入集。有什么方法可以使用测试集为每组参数评估 GridSearchCV 吗？

实际上，我的测试集包含一些特殊的记录，我想测试模型的通用性和准确性。谢谢你。

Answer 1

您可以将 GridSearchCV 的标准 3 倍 cv 参数替换为自定义迭代器，从而生成串联训练和测试数据帧的训练和测试索引。结果，在进行 1 折交叉验证时，您在 input_train 个对象上训练您的模型并在 input_test 个对象上测试您的拟合模型：

def modified_cv(input_train_len, input_test_len):
    yield (np.array(range(input_train_len)), 
           np.array(range(input_train_len, input_train_len + input_test_len)))

input_train_len = len(input_train)
input_test_len = len(input_test)
data = np.concatenate((input_train, input_test), axis=0)
target = np.concatenate((target_train, target_test), axis=0)
grid = GridSearchCV(estimator=model, 
                    param_grid=param_grid,
                    cv=modified_cv(input_train_len, input_test_len), 
                    scoring='neg_mean_squared_error')
grid_result = grid.fit(data, target)

通过访问 grid_result.cv_results_ 词典，您将在指定模型参数的所有网格的测试集上看到您的指标值。

如何使用 GridSearchCV 获得每组参数的预测？

How to get predictions for each set of parameters using GridSearchCV?

python

regression

machine-learning

neural-network

grid-search