K均值||用于 Spark 上的情绪分析

Question

我正在尝试编写基于 Spark 的情绪分析程序。为此，我使用了 word2vec 和 KMeans 聚类。从 word2Vec 中，我得到了 20k word/vectors 100 维 space 的集合，现在我正在尝试对这些向量进行聚类 space。当我使用默认并行实现的运行 KMeans 时，该算法工作了 3 个小时！但是使用随机初始化策略就像 8 分钟。我究竟做错了什么？我有 mac book pro machine，具有 4 个内核处理器和 16 GB RAM。

K ~= 4000 maxInteration 为 20

var vectors: Iterable[org.apache.spark.mllib.linalg.Vector] =
      model.getVectors.map(entry => new VectorWithLabel(entry._1, entry._2.map(_.toDouble)))
    val data = sc.parallelize(vectors.toIndexedSeq).persist(StorageLevel.MEMORY_ONLY_2)
    log.info("Clustering data size {}",data.count())
    log.info("==================Train process started==================");
    val clusterSize = modelSize/5

    val kmeans = new KMeans()
    kmeans.setInitializationMode(KMeans.K_MEANS_PARALLEL)
    kmeans.setK(clusterSize)
    kmeans.setRuns(1)
    kmeans.setMaxIterations(50)
    kmeans.setEpsilon(1e-4)

    time = System.currentTimeMillis()
    val clusterModel: KMeansModel = kmeans.run(data)

Spark 上下文初始化在这里：

val conf = new SparkConf()
      .setAppName("SparkPreProcessor")
      .setMaster("local[4]")
      .set("spark.default.parallelism", "8")
      .set("spark.executor.memory", "1g")
    val sc = SparkContext.getOrCreate(conf)

关于运行宁此程序的更新也很少。我在 Intelij IDEA 中运行配置它。我没有真正的 Spark 集群。不过我觉得你个人的machine可以是Spark集群

我从 Spark 代码中看到程序在这个循环中挂起 LocalKMeans.scala:

// Initialize centers by sampling using the k-means++ procedure.
    centers(0) = pickWeighted(rand, points, weights).toDense
    for (i <- 1 until k) {
      // Pick the next center with a probability proportional to cost under current centers
      val curCenters = centers.view.take(i)
      val sum = points.view.zip(weights).map { case (p, w) =>
        w * KMeans.pointCost(curCenters, p)
      }.sum
      val r = rand.nextDouble() * sum
      var cumulativeScore = 0.0
      var j = 0
      while (j < points.length && cumulativeScore < r) {
        cumulativeScore += weights(j) * KMeans.pointCost(curCenters, points(j))
        j += 1
      }
      if (j == 0) {
        logWarning("kMeansPlusPlus initialization ran out of distinct points for centers." +
          s" Using duplicate point for center k = $i.")
        centers(i) = points(0).toDense
      } else {
        centers(i) = points(j - 1).toDense
      }
    }

Answer 1

使用 KMeans.K_MEANS_PARALLEL 的初始化比 random 更复杂。但是，它不应该产生如此大的差异。我建议调查一下，是否是并行算法花费了很多时间（实际上它应该比 KMeans 本身更有效）。

有关分析的信息，请参阅： http://spark.apache.org/docs/latest/monitoring.html

如果不是初始化占用了时间，那就是严重错误。但是，使用随机初始化对最终结果应该不会有任何影响（只是效率较低！）。

实际上，当您使用 KMeans.K_MEANS_PARALLEL 进行初始化时，您应该通过 0 次迭代获得合理的结果。如果不是这种情况，则可能会导致 KMeans 偏离轨道的数据分布存在一些规律性。因此，如果您没有随机分发数据，您也可以更改它。然而，这样的影响会让我感到惊讶，因为我给出了一个固定的迭代次数。

Answer 2

我在 AWS 上运行 spark 有 3 个从属 (c3.xlarge)，结果是一样的——问题是并行 KMeans 在 N 个并行运行s 中初始化算法，但是对于少量数据来说它仍然非常慢，我的解决方案是继续使用随机初始化。数据大小约为：21k 100 维向量的 4k 簇。

K均值||用于 Spark 上的情绪分析

KMeans|| for sentiment analysis on Spark

scala

machine-learning

k-means

apache-spark

apache-spark-mllib