如何在 Apache Spark 中保存和加载 MLLib 模型？
How to save and load MLLib model in Apache Spark?
我在 Apache Spark 中训练了一个分类模型（使用 pyspark）。我将模型存储在一个对象中，LogisticRegressionModel。现在，我想对新数据进行预测。我想存储模型，并将其读回新程序以进行预测。知道如何存储模型吗？我在考虑 pickle，但我是 python 和 Spark 的新手，所以我想听听社区的想法。
您可以使用 mllib 个模型中的 save method 个来保存您的模型。
# let lrm be a LogisticRegression Model
lrm.save(sc, "lrm_model.model")
存储后，您可以将其加载到另一个应用程序中。
sameModel = LogisticRegressionModel.load(sc, "lrm_model.model")
如@zero323 之前所述，还有另一种方法可以实现此目的，即使用 Predictive Model Markup Language (PMML).
is an XML-based file format developed by the Data Mining Group to provide a way for applications to describe and exchange models produced by data mining and machine learning algorithms.
我在 Apache Spark 中训练了一个分类模型（使用 pyspark）。我将模型存储在一个对象中，LogisticRegressionModel。现在，我想对新数据进行预测。我想存储模型，并将其读回新程序以进行预测。知道如何存储模型吗？我在考虑 pickle，但我是 python 和 Spark 的新手，所以我想听听社区的想法。
您可以使用 mllib 个模型中的 save method 个来保存您的模型。
# let lrm be a LogisticRegression Model
lrm.save(sc, "lrm_model.model")
存储后，您可以将其加载到另一个应用程序中。
sameModel = LogisticRegressionModel.load(sc, "lrm_model.model")
如@zero323 之前所述，还有另一种方法可以实现此目的，即使用 Predictive Model Markup Language (PMML).
is an XML-based file format developed by the Data Mining Group to provide a way for applications to describe and exchange models produced by data mining and machine learning algorithms.