scala函数式编程初体验 ==> 用scala函数实现 WordCount

最新推荐文章于 2023-11-20 15:31:37 发布

转载最新推荐文章于 2023-11-20 15:31:37 发布 · 156 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/rabbit624/p/10531493.html

文章标签：

#scala #大数据

本文通过Scala编程展示了如何从字符串集合中统计单词总数及每个单词的出现频率，使用flatMap、filter、groupBy等函数进行数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

//定义一个字符串集合

scala> val lines = List("hadoop,hive,spark,hue,mapreduce"," ","hadoop,hue","hdfs, , ,hive","","hadoop,spark")
lines: List[String] = List(hadoop,hive,spark,hue,mapreduce, " ", hadoop,hue, hdfs, , ,hive, "", hadoop,spark)

//功能1 ：（不算空格和空串）统计一下集合中总共有多少个单词？

scala> lines.flatMap(_.split(",")).filter(_.trim.nonEmpty).map((_,1)).map(_._2).reduce(_+_)
res164: Int = 11

//功能2 ：分别统计每一个单词出现的次数

scala> lines.flatMap(_.split(",")).filter(_.trim.nonEmpty).groupBy(_.toString).mapValues(_.length).foreach(println)
(mapreduce,1)
(hue,2)
(hadoop,3)
(spark,2)
(hive,2)
(hdfs,1)

转载于:https://www.cnblogs.com/rabbit624/p/10531493.html