Spark读取文件系统的数据

最新推荐文章于 2025-05-12 14:30:59 发布

原创最新推荐文章于 2025-05-12 14:30:59 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hadoop #大数据

文章介绍了如何在pyspark环境下读取Linux本地和HDFS上的文件，如果文件不存在则创建并添加内容，然后统计文件的行数。对于独立应用程序，展示了通过spark-submit提交Python脚本到Spark运行的步骤，并提到了可能遇到的日志显示问题以及环境配置问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（1）在pyspark中读取Linux系统本地文件“/home/hadoop/test.txt”（如果该文件不存在，请创建并自由添加内容），然后统计出文件的行数；

cat /home/hadoop/test.txt
pyspark
lines = sc.textFile("file:///home/hadoop/test.txt")
line_count = lines.count()
print("Line count:", line_count)

（2）在pyspark中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请创建并自由添加内容），然后统计出文件的行数；

hadoop fs -cat /user/hadoop/test.txt
pyspark
lines = sc.textFile("hdfs:///user/hadoop/test.txt")
line_count = lines.count()
print("Line count:", line_count)

（3）编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请创建并自由添加内容），然后统计出文件的行数；通过 spark-submit 提交到 Spark 中运行程序。

cd /opt/module/spark-3.0.3-bin-without-hadoop/mycode/
touch File_Count.py
vim File_Count.py
from pyspark import SparkConf,SparkContext
conf = SparkConf().setMaster("local").setAppName("File Count")
sc = SparkContext(conf = conf)
lines = sc.textFile("hdfs:///user/hadoop/test.txt")
line_count = lines.count()
print("Line count:", line_count)
sc.stop()
spark-submit File_Count.py

容易遇到的问题：

1.通过spark-sumbit运行程序时，会产生很多其他信息，执行结果会与其他信息混合在一起显示。可以通过修改log4j的日志显示级别，设置不显示INFO级别的信息，只输出自己的控制台输出的信息。

2.如果不想使用spark-submit提交，而尝试使用python运行程序时，显示no moudle named pyspark，这时需要vim ~/.bashrc配置环境变量，配置PYTHONPATH环境变量用来在python中引入pyspark库，PYSPARK_PYTHON变量用来设置pyspark运行的python版本，要特别注意/opt/module/spark-3.0.3-bin-without-hadoop/python/lib目录下的py4j-0.10.9-src.zip文件名，在PYTHONPATH的设置中需要使用。