第20课 ： SPARK分组TOPN 算法（Scala） 必须掌握！，topnscala

第20课 ： SPARK分组TOPN 算法（Scala） 必须掌握！，topnscala

1、输入文件

Spark,100
Hadoop,62
Flink,77
Kafka,91
Hadoop,93
Spark,78
Hadoop,69
Spark,98
Hadoop,62
Spark,99
Hadoop,61
Spark,70
Hadoop,75
Spark,88
Hadoop,68
Spark,90
Hadoop,61

2、运行结果

Flink:
77
Hadoop:
61
61
62
62
68
Kafka:
91
Spark:
70
78
88
90
98

 

3、源代码

package com.dt.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object TopNGroup {
    def main(args:Array[String]){
      val conf = new SparkConf() //创建SparkConf对象
      conf.setAppName("Wow,TopNGroup App!") //设置应用程序的名称，在程序运行的监控界面可以看到名称
      conf.setMaster("local") //此时，程序在本地运行，不需要安装Spark集群
      
      val sc = new SparkContext(conf) //创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
      sc.setLogLevel("WARN")
      val lines = sc.textFile("G://IMFBigDataSpark2016//tesdata//topNGroup1.txt", 1) //读取本地文件并设置为一个Partion
     
       val pairs=lines.map { line => (line.split(",")(0),line.split(",")(1).toInt) }
       val grouped=pairs.groupByKey
        val groupedTop5=grouped.map(grouped=>
      {
        (grouped._1,grouped._2.toList.sortWith(_<_).take(5))
      })
        val groupedKeySorted=groupedTop5.sortByKey()
       
      groupedKeySorted.collect().foreach(pair=>{
      println(pair._1+":")
      pair._2.foreach { println }
       })
    sc.stop()
       
  }
}

 

4、结果截图