columnSimilarities() 回到 Spark 数据框

Question

我有第二个问题是关于 Spark 2.1 中的 CosineSimilarity / ColumnSimilarities。我对 scala 和所有 Spark 环境有点陌生，这对我来说并不是很清楚：

如何从 spark 中的 rowMatrix 取回每个列组合的 ColumnSimilarities。这是我尝试过的：

数据：

import org.apache.spark.sql.{SQLContext, Row, DataFrame}
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType, DoubleType}
import org.apache.spark.sql.functions._

// rdd
    val rowsRdd: RDD[Row] = sc.parallelize(
      Seq(
        Row(2.0, 7.0, 1.0),
        Row(3.5, 2.5, 0.0),
        Row(7.0, 5.9, 0.0)
      )
    )

// Schema  
    val schema = new StructType()
      .add(StructField("item_1", DoubleType, true))
      .add(StructField("item_2", DoubleType, true))
      .add(StructField("item_3", DoubleType, true))

// Data frame  
    val df = spark.createDataFrame(rowsRdd, schema)

代码：

import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.mllib.linalg.distributed.{MatrixEntry, CoordinateMatrix, RowMatrix}

val rows = new VectorAssembler().setInputCols(df.columns).setOutputCol("vs")
  .transform(df)
  .select("vs")
  .rdd

val items_mllib_vector = rows.map(_.getAs[org.apache.spark.ml.linalg.Vector](0))
                             .map(org.apache.spark.mllib.linalg.Vectors.fromML)
val mat = new RowMatrix(items_mllib_vector)
val simsPerfect = mat.columnSimilarities()


println("Pairwise similarities are: " +   simsPerfect.entries.collect.mkString(", "))

输出：

Pairwise similarities are: MatrixEntry(0,2,0.24759378423606918), MatrixEntry(1,2,0.7376189553526812), MatrixEntry(0,1,0.8355316482961213)

所以我得到的是我的专栏和相似之处的 simsPerfect org.apache.spark.mllib.linalg.distributed.CoordinateMatrix。我如何将其转换回数据框并使用它获得正确的列名？

我的首选输出：

    item_from | item_to | similarity
            1 |       2 |      0.83 |             
            1 |       3 |      0.24 |
            2 |       3 |      0.73 |

提前致谢

Answer 1

我找到了解决问题的方法：

//Transform result to rdd
val transformedRDD = simsPerfect.entries.map{case MatrixEntry(row: Long, col:Long, sim:Double) => Array(row,col,sim).mkString(",")}

//Transform rdd[String] to rdd[Row]
val rdd2 = transformedRDD.map(a => Row(a))

// to DF
val dfschema = StructType(Array(StructField("value",StringType)))
val rddToDF = spark.createDataFrame(rdd2,dfschema) 

//create new DF with schema
val newdf = rddToDF.select(expr("(split(value, ','))[0]").cast("string").as("item_from")
              ,expr("(split(value, ','))[1]").cast("string").as("item_to")
              ,expr("(split(value, ','))[2]").cast("string").as("sim"))

我确信还有另一种更简单的方法可以做到这一点，但我很高兴它有效。

Answer 2

这种方法在不将行转换为字符串的情况下也适用：

val transformedRDD = simsPerfect.entries.map{case MatrixEntry(row: Long, col:Long, sim:Double) => (row,col,sim)}
val dff = sqlContext.createDataFrame(transformedRDD).toDF("item_from", "item_to", "sim")

其中，我假设 val sqlContext = new org.apache.spark.sql.SQLContext(sc) 已经定义并且 sc 是 SparkContext。

columnSimilarities() 回到 Spark 数据框

columnSimilarities() back to Spark Data Frame

scala

apache-spark

apache-spark-sql

spark-dataframe

apache-spark-mllib