Huggingface中DatasetDict类如何加载各种文件

最新推荐文章于 2025-03-27 00:22:45 发布

Algorithm_Engineer_

最新推荐文章于 2025-03-27 00:22:45 发布

阅读量732

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能算法

本文链接：https://blog.csdn.net/qq_37977007/article/details/134073692

本文介绍了如何使用Python的datasets库加载CSV、JSON、文本和Parquet格式的数据文件，包括`from_csv`、`from_json`、`from_text`和`from_parquet`方法，适用于SQuAD数据集的预处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.加载csv文件

dataset.dataset_dict.DatasetDict.from_csv(
		# 常用的路径名字
        路径和多个路径的名字: Dict[str, PathLike],
        特征: Optional[Features] = None,
        缓存路径: str = None,
        keep_in_memory: bool = False,
    )

from datasets.dataset_dict import DatasetDict
train = DatasetDict.from_csv({'train': 'data_squad/SQuAD/train.csv'})

二.加载json文件

dataset.DatasetDict.from_json(
        path_or_paths: Dict[str, PathLike],
        features: Optional[Features] = None,
        cache_dir: str = None,
        keep_in_memory: bool = False,
        **kwargs,
    )
from datasets.dataset_dict import DatasetDict
train = DatasetDict.from_json({'train': 'data_squad/SQuAD/train.json'})

三.加载text文件

dataset.DatasetDict.from_text(
path_or_paths: Dict[str, PathLike],
features: Optional[Features] = None,
cache_dir: str = None,
keep_in_memory: bool = False,
**kwargs,
)
from datasets.dataset_dict import DatasetDict
train = DatasetDict.from_text({‘train’: ‘data_squad/SQuAD/train.text’})

四.parquet文件

dataset.DatasetDict.from_parquet(
path_or_paths: Dict[str, PathLike],
features: Optional[Features] = None,
cache_dir: str = None,
keep_in_memory: bool = False,
columns: Optional[List[str]] = None,
**kwargs,
)
from datasets.dataset_dict import DatasetDict
train = DatasetDict.from_parquet({‘train’: ‘data_squad/SQuAD/train.text’})