
大数据之spark
文章平均质量分 94
本专栏主要记录笔者在spark学习和使用过程中的心得体会和遇见的问题
wlyang666
何妨吟啸且徐行
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
1. 初识spark
作为一名开发人员,用内存处理数据是每天都在做的事情。内存处理数据最大的优势就是方便,快捷,可以很快得到结果,但是内存总是有瓶颈的,不管你运行代码的机器有多大的内存,总是有更大规模的数据需要处理,而且随着单个机器内存扩容,硬件成本会指数级上升。在当今互联网行业,数据快速膨胀的时代,分布式计算来处理数据是大势所趋。本文通过介绍的是大数据领域优秀框架spark ,打开分布式实时计算的大门原创 2025-02-05 14:23:22 · 1399 阅读 · 0 评论 -
5. scala高阶之traits
在Scala中,traits是一种非常强大的特性,它允许你定义抽象类型成员、具体方法实现、以及可以在多个类之间共享的行为。可以将Trait作为接口来使用,此时的Triat就与Java中的接口非常类似,在triat中可以定义抽象方法,就与抽象类中的抽象方法一样,只要不给出方法的具体实现即可,类可以使用extends关键字继承trait。原创 2025-02-05 14:22:39 · 811 阅读 · 0 评论 -
4. scala高阶之隐式转换与泛型
上一节,我介绍了scala中的面向对象相关概念,还有一个特色功能:模式匹配。本文,我会介绍另外一个特别强大的功能隐式转换,并在最后介绍scala中泛型的使用原创 2025-01-12 16:46:50 · 1370 阅读 · 0 评论 -
3. Scala 高阶语法之面向对象和模式匹配
上一节,介绍了scala中常见的数据结构:集合和元组。我们知道,scala既是面向对象,又是面向过程的,本文,我会介绍scala对于面向对象的支持以及scala中非常强大的功能模式匹配原创 2025-01-12 16:45:26 · 953 阅读 · 0 评论 -
2. Scala 高阶语法之集合与元组
本文主要介绍了scala中核心的数据结构,集合和元组的相关信息原创 2025-01-09 16:07:56 · 1298 阅读 · 1 评论 -
1. 初识Scala
Scala是为了解决Java在函数式编程、类型推断、模式匹配等方面的不足而诞生的。它提供了更简洁的语法、更强的类型系统和更丰富的函数式编程特性,使得开发者能够以更高效、更灵活的方式编写代码。在大数据框架spark中,大量使用了scala的语法,所以想看懂spark源码,需要先熟悉scala原创 2025-01-09 16:06:03 · 1154 阅读 · 0 评论