qq_43192537的博客

spark 分区器

Spark 内核

spark outline

SparkSQL项目实战：TopN

Spark SQL 代码读取mysql&代码读取hive

Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF

SparkCore项目实战 需求一Top10热门品类 需求二Top10热门品类下每个品类的Top10活跃用户统计 需求三计算页面单跳转换率

Spark 无状态化转换原语&有状态转化原语

Spark DStream输出原语-foreachRDD&使用SparkSQL处理采集周期中的数据

Spark Streaming项目实战项目描述本实战项目实时分析处理用户对广告点击的行为数据。项目数据生成方式使用代码的方式持续的生成数据，然后写入到kafka中，然后从kafka消费数据，并对数据根据需求进行分析。项目数据格式时间戳, 地区, 城市, 用户id， 广告id1566035129449, 华南, 深圳, 101, 2项目准备步骤1: 开启集群启动 zookeeper 和 Kafka步骤2: 创建 Topic#查看kakfa都有哪些主题 bin/k

Spark DStream创建 通过队列 自定义数据源 Kafka数据源

spark 广播变量

spark 累加器

IO读取jsonpackage com.xcu.bigdata.spark.core.pg02_ioimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * @Package : com.xcu.bigdata.spark.core.pg02_io * @Author : * @Date : 2020 11月 星期二 * @Desc : 读取json(json格式的字符串要

RDD Cache缓存 CheckPoint检查点 缓存和检查点区别 检查点存储到HDFS集群

spark 窄依赖 宽依赖 Spark job 划分 DAG有向无环图

spark 序列化 序列化方法和属性 Kryo序列化框架

spark Action 行动算子

SparkCore 阶段练习：广告点击Top3

Spark join和cogroup

Spark mapValues

Spark sortByKey

Saprk core Transformation 转换算子RDD整体上分为Value类型、双Value类型和Key-Value类型Key-Value类型总结：reduceByKey、aggregateByKey、foldByKey、combineByKey

Spark combineByKey

Spark foldByKey

Spark aggregateByKey

Spark groupByKey

Spark reduceByKey

Spark partitionBy

Spark union并集, subtract差集, intersection交集, zip拉链

Spark sortBy

Spark coalesce和repartition

Spark distinct

spark sample

Spark filter

Spark groupBy

Spark glom

Saprk flatMap

Saprk mapPartitionsWithIndex

Saprk map&mapPartitions