从 scala 上的 Spark RDD 对象构建 RDD LabeledPoint

Question

我想从 RDD 对象构建一个 RDD[LabeledPoint]，RDD 对象如下：

 +-------------------+---------+--------------+--------+-------+
 |          date_time|site_name|posa_continent|year    |label  |
 +-------------------+---------+--------------+--------+-------+
 |2014-08-11 07:46:59|        2|             3|2014    |1      |
 |2014-08-11 08:22:12|        2|             3|2014    |2      |
 |2015-08-11 08:24:33|        2|             3|2015    |1      |
 |2016-08-09 18:05:16|        2|             3|2016    |3      |
 |2011-08-09 18:08:18|        2|             3|2011    |2      |
 |2009-08-09 18:13:12|        2|             3|2009    |1      |
 |2014-07-16 09:42:23|        2|             3|2014    |1      |
 +-------------------+---------+--------------+--------+-------+

我想用 label 属性构造一个 RDD[LabeledPoint] 以应用 KNN 机器学习算法。我使用 Spark Scala API.

Answer 1

在 RDD 上尝试 map 函数：

rddsObject.map(object => LabeledPoint(object.label, Vectors.dense(object.site_name,object.posa_continent,object.year))