使用 ALS 的 Spark MLlib 管道时，字段 "item" 不存在

Question

我正在使用 ALS（Spark 版本：1.3.1）训练推荐系统。现在我想使用 Pipeline 通过交叉验证进行模型选择。作为第一步，我尝试适应 the example code 并想出了这个：

val conf = new SparkConf().setAppName("ALS").setMaster("local")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._

val ratings: RDD[org.apache.spark.mllib.recommendation.Rating] = // ...
val als = new ALS().setMaxIter(10).setRank(10).setRegParam(0.01)
val pipeline = new Pipeline().setStages(Array(als))
val model = pipeline.fit(ratings.toDF)

当我运行它时，最后一行失败并出现异常：

Exception in thread "main" java.lang.IllegalArgumentException: Field "item" does not exist.
at org.apache.spark.sql.types.StructType$$anonfun$apply.apply(dataTypes.scala:1032)
at org.apache.spark.sql.types.StructType$$anonfun$apply.apply(dataTypes.scala:1032)
at scala.collection.MapLike$class.getOrElse(MapLike.scala:128)
at scala.collection.AbstractMap.getOrElse(Map.scala:58)
at org.apache.spark.sql.types.StructType.apply(dataTypes.scala:1031)
at org.apache.spark.ml.recommendation.ALSParams$class.validateAndTransformSchema(ALS.scala:148)
at org.apache.spark.ml.recommendation.ALS.validateAndTransformSchema(ALS.scala:229)
at org.apache.spark.ml.recommendation.ALS.transformSchema(ALS.scala:304)
at org.apache.spark.ml.Pipeline$$anonfun$transformSchema.apply(Pipeline.scala:142)
at org.apache.spark.ml.Pipeline$$anonfun$transformSchema.apply(Pipeline.scala:142)
at scala.collection.IndexedSeqOptimized$class.foldl(IndexedSeqOptimized.scala:51)
at scala.collection.IndexedSeqOptimized$class.foldLeft(IndexedSeqOptimized.scala:60)
at scala.collection.mutable.ArrayOps$ofRef.foldLeft(ArrayOps.scala:108)
at org.apache.spark.ml.Pipeline.transformSchema(Pipeline.scala:142)
at org.apache.spark.ml.PipelineStage.transformSchema(Pipeline.scala:58)
at org.apache.spark.ml.Pipeline.fit(Pipeline.scala:100)
at org.apache.spark.ml.Pipeline.fit(Pipeline.scala:79)
at org.apache.spark.ml.Estimator.fit(Estimator.scala:44)
...

我没有在我的代码中的任何地方使用字符串 "item"，所以我假设它是某种默认值。当我将 .setItemCol("itemId") 添加到 als 时，异常消息会相应更改。

"item"是什么意思？我怎样才能使管道工作？

Answer 1

好吧，解决方案其实很简单：使用 org.apache.spark.ml.recommendation.ALS.Rating 而不是 org.apache.spark.mllib.recommendation.Rating 就可以了。

否则 .setItemCol("product") 会起作用，因为 org.apache.spark.mllib.recommendation.Rating 有一个名为 "product" 的字段，而 org.apache.spark.ml.recommendation.ALS.Rating 调用相应的字段 "item"。一定有一些神奇的事情发生，给定一个字符串，访问一个案例的某个字段class（反射？）。

使用 ALS 的 Spark MLlib 管道时，字段 "item" 不存在

Field "item" does not exist using Spark MLlib pipeline for ALS

scala

apache-spark

apache-spark-mllib