spark入门

最新推荐文章于 2025-06-20 10:30:34 发布

原创最新推荐文章于 2025-06-20 10:30:34 发布 · 187 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据专栏收录该内容

15 篇文章

订阅专栏

本文提供了Spark的安装指南，介绍了如何使用PySpark进行基本的数据处理操作，包括读取文件、过滤和计数特定字符出现次数等。同时，链接了Spark官方快速入门教程及深入解析Spark运行原理和参数配置的文章。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、http://dblab.xmu.edu.cn/blog/1689-2/ spark安装和使用

from pyspark import SparkContext
sc = SparkContext( 'local', 'test')
logFile = "/user/tmp/offline/jsy/test/1.txt"
logData = sc.textFile(logFile, 2).cache()
numAs = logData.filter(lambda line: 'a' in line).count()
numBs = logData.filter(lambda line: 'b' in line).count()
print('Lines with a: %s, Lines with b: %s' % (numAs, numBs))

2、

http://dblab.xmu.edu.cn/blog/1709-2/ （spark学习目录）

3、快速入门官网

https://spark-reference-doc-cn.readthedocs.io/zh_CN/latest/programming-guide/quick-start.html

4、spark运行原理详解

https://www.jianshu.com/p/e9845cac935c

5、spark参数详解

https://www.cnblogs.com/yangcx666/p/8723826.html