Pyspark实现RDD与DataFrame转换

最新推荐文章于 2024-05-03 11:33:35 发布

追枫萨

最新推荐文章于 2024-05-03 11:33:35 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/m0_38052384/article/details/105130595

本文介绍了如何使用Pyspark将RDD转换为DataFrame，包括只有一列值和两列值的情况，并提供了具体的操作步骤及StackOverflow上的相关解答。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

方式一（只有一列值的转换）

# python3
# -*- coding:utf-8 -*-
# @Time: 3/26/20 7:14 PM
# @Author: Damon
# @Software: PyCharm

import logging
from pyspark.sql import *
from pyspark.sql import functions as F

def score_df_processing(rdd,spark):
    """
    :param data:
    :return:
    """
    print(type(rdd))
    
    if rdd.isEmpty():
        logging.info(' error: input score data empty...')
        return None
    else:
        row=Row("score") #列名
        df=rdd.map(row).toDF() #RDD转为DF

        print(df.show()) #第一次输出
        #按照“row_number”升序排序
        df=df.withColumn('row_number',F.row_number().over(Window.orderBy("score")))
        print(df.show()) #第二次输出
        row_nums = df.count()
        df=df.withColumn('slots',df.row_number*100/row_nums)
        print(df.show(10)) #第三次输出
    return df.rdd


spark = SparkSession.builder.appName('rdd_df').config("local*").getOrCreate()
sc = spark.sparkContext
rdd=sc.parallelize([4, 2, 3, 4])
#rdd = sc.parallelize([("a",1),("b",2),("c"