从 pickle 文件重新训练加载的模型
Re-train loaded model from pickle file
我有三个数据集:train、validation、test,我目前正在使用一个 XGBoost 分类器来完成分类任务。
我在 train 集上训练了 XGBClassifier 并将其保存为 pickle 文件以避免每次都重新训练它。一旦我从 pickle 文件加载模型,我就可以使用它的预测方法,但我似乎无法在验证集或任何其他新数据集上训练这个模型。
注意:我没有收到任何错误输出,jupyter lab 单元看起来工作正常,但我的 CPU 核心在这个单元运行期间都在休息,所以我看到模型没有被已装。
这可能是 XGBoost 的问题,还是 pickle dumped 模型在加载后无法再次拟合?
一年前我有过完全相同的问题,
不过,通过这种方式,您将使用新数据不断向现有模型添加 "trees"(助推器)。
最好在您的训练 + 验证数据集上训练一个新模型。
无论您决定做什么,您都应该尝试这两个选项并评估您的结果,看看哪个更适合您的数据。
我有三个数据集:train、validation、test,我目前正在使用一个 XGBoost 分类器来完成分类任务。
我在 train 集上训练了 XGBClassifier 并将其保存为 pickle 文件以避免每次都重新训练它。一旦我从 pickle 文件加载模型,我就可以使用它的预测方法,但我似乎无法在验证集或任何其他新数据集上训练这个模型。
注意:我没有收到任何错误输出,jupyter lab 单元看起来工作正常,但我的 CPU 核心在这个单元运行期间都在休息,所以我看到模型没有被已装。
这可能是 XGBoost 的问题,还是 pickle dumped 模型在加载后无法再次拟合?
一年前我有过完全相同的问题,
不过,通过这种方式,您将使用新数据不断向现有模型添加 "trees"(助推器)。
最好在您的训练 + 验证数据集上训练一个新模型。
无论您决定做什么,您都应该尝试这两个选项并评估您的结果,看看哪个更适合您的数据。