数据的格式转化

望长安于日下

已于 2022-07-09 21:51:31 修改

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 机器学习开发语言

于 2022-07-09 21:33:14 首次发布

本文链接：https://blog.csdn.net/qq_26884501/article/details/125699119

python 专栏收录该内容

28 篇文章

订阅专栏

本文介绍了如何将txt文件转换为csv并进一步转化为parquet格式，同时提供了两种处理大文件csv时避免内存溢出的方法：使用chunksize分块读取和iterator逐块获取数据。适合处理大数据文件的高效读取和转换技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.读取txt文件为csv格式

df = pd.read_csv(file, header=None)

2.将csv格式转化为parquet

df.to_parquet(fout_path)
df= pd.read_parquet(fin_path)

3.读取csv文件时memory error

pd.read_csv读取大文件时，如果文件太大，会出现memoryerror的问题。

方法1

pd.read_csv的参数中有一个chunksize参数，为其赋值后，返回一个可迭代对象TextFileReader，对其遍历即可

reader = pd.read_csv(file_path, chunksize=20)　　# 每次读取20条数据

 import pandas as pd 
 
 def knn():
     # 读取数据
     file_path = './facebook/train.csv'
     
     reader = pd.read_csv(file_path, chunksize=20)    # 每块为20条数据(index)
 
     for chunk in reader:
         print(chunk) #chunk格式是<class 'pandas.core.frame.DataFrame'>
         break
 
 if __name__ == '__main__':
     knn()

方法2

pd.read_csv的参数中有一个iterator参数，默认为False，将其改为True，返回一个可迭代对象TextFileReader，使用它的get_chunk(num)方法可获得前num行的数据

import pandas as pd 

def knn():
    '''完成k近邻算法'''

    # 读取数据
    file_path = './facebook/train.csv'

    reader = pd.read_csv(file_path, iterator=True)
    chunk = reader.get_chunk(5)    # 获取前5行数据
    print(chunk)


if __name__ == '__main__':
    knn()