Scala 中的非工作 Spark 示例，LogisticRegressionTrainingSummary

Question

我尝试为多项逻辑回归实现 this example，但它无法识别正在使用的特征。可能是某些版本不匹配。这部分代码：

trainingSummary.falsePositiveRateByLabel.zipWithIndex.foreach { case (rate, label) =>
  println(s"label $label: $rate")
}

LogisticRegressionTrainingSummary 的

None 成员正在被识别，falsePositiveRateByLabel 在给定的示例中尤其如此。以及后面代码中的其他成员：truePositiveRateByLabel、precisionByLabel、...

当我开始实施时，我找不到任何可以替代的类似成员，我使用 mllib 2.11。我错过了什么？

Answer 1

你是对的，这是一个版本控制问题。您提供的 github code example 是针对 Spark 当前的 master 分支，其中 API.

的这一部分发生了一些重大变化

您一直关注的是 Spark 2.3 中的代码会是什么样子。不过目前这个版本还不稳定，无法下载。这就是同一代码示例的 version 2.2 branch 的样子：

val training = spark
  .read
  .format("libsvm")
  .load("data/mllib/sample_multiclass_classification_data.txt")

val lr = new LogisticRegression()
  .setMaxIter(10)
  .setRegParam(0.3)
  .setElasticNetParam(0.8)

// Fit the model
val lrModel = lr.fit(training)

// Print the coefficients and intercept for multinomial logistic regression
println(s"Coefficients: \n${lrModel.coefficientMatrix}")
println(s"Intercepts: ${lrModel.interceptVector}")
// $example off$

spark.stop()

换句话说，您尝试使用的方法尚未在您的 Spark 版本中实现。

Scala 中的非工作 Spark 示例，LogisticRegressionTrainingSummary

Non working Spark example in Scala, LogisticRegressionTrainingSummary

scala

logistic-regression

apache-spark

apache-spark-mllib