PyTorch源码解读之torch.utils.data.DataLoader使用方法

最新推荐文章于 2025-05-29 16:17:02 发布

原创

最新推荐文章于 2025-05-29 16:17:02 发布 · 1.9k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文详细介绍了PyTorch中torch.utils.data.DataLoader的作用和使用方法，包括其参数设置、数据加载机制及示例。DataLoader作为数据加载的重要接口，负责将数据集按batch封装为Tensor，并提供了多进程加载、洗牌和批处理等功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、简介

官网：https://pytorch.org/docs/stable/data.html?highlight=torch%20utils%20data%20dataloader#torch.utils.data.DataLoader
dataloader.py脚本的的github地址：https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataloader.py

PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的作用，比较重要。

torch.utils.data.DataLoader是数据加载器，结合了数据集dataset和取样器sampler，并且提供一个在dataset上的可迭代对象。DataLoader支持map样式和iterable样式的数据集，支持单进程或多进程加载、自定义加载顺序以及可选的自动批处理（排序）和内存固定。
在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。

CLASS torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None