Spark MLlib之Kmeans聚类

最新推荐文章于 2021-01-12 16:50:51 发布

原创最新推荐文章于 2021-01-12 16:50:51 发布 · 8.7k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#Spark MLlib #Kmeans

Spark 专栏收录该内容

41 篇文章

订阅专栏

本文介绍如何使用Apache Spark的MLlib库进行K-Means聚类分析。通过从本地文件读取数据，将其转换为RDD[Vector]，然后创建并训练K-Means模型，最后计算误差。代码示例展示了如何设置模型参数，如初始化模式、簇的数量和迭代次数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package mllib.cluster

import org.apache.spark.mllib.clustering.{KMeans, KMeansModel}
import org.apache.spark.mllib.linalg
import org.apache.spark.mllib.linalg.{DenseVector, Vectors}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import scala.io.{BufferedSource, Source}

/**
  * created by LMR on 2019/6/10
  */
object kmeans {

  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("svm")
    val sc = new SparkContext(conf)

    //从windows本地读取数据，转化为RDD[Vector]
    val source: BufferedSource = Source.fromFile("E:\\IDEAWorkPlace\\SparkTest\\src\\main\\scala\\mllib\\data\\kmeans_data.txt")
    val lines: Array[String] = source.getLines().toArray
    val vectors: Array[linalg.Vector] = lines.map { line =>
      val splits: Array[Double] = line.split(" ").map(_.toDouble)
      Vectors.dense(splits)

    }

    val data: RDD[linalg.Vector] = sc.parallelize(vectors)

    //创建模型并训练
    val initMode = "k-means||"
    val numsClusters = 2
    val numIteerations = 20
    val model: KMeansModel = new KMeans()
      .setInitializationMode(initMode)
      .setK(numsClusters)
      .setMaxIterations(numIteerations)
      .run(data)

    //计算误差
    val WSSSE: Double = model.computeCost(data)
    println(WSSSE)
  }

}

完整代码/数据地址：git地址