小知识点系列(二) 本文(8万字) | 解读数据增强 | Mosaic | MixUp | CutOut | CutMix | HSV | Albumentation |

已于 2024-01-04 17:16:46 修改
阅读量1k 收藏 12
点赞数 10
CC 4.0 BY-SA版权
文章标签： 人工智能 深度学习
于 2023-12-25 19:45:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302770/article/details/135207447
人工智能专栏计划 专栏收录该内容
142 篇文章

已下架不支持订阅

本文详细介绍了深度学习中常用的数据增强技术，包括几何变换（翻转、裁剪、旋转等）、颜色空间变换、核滤波器、图像混合和随机擦除。特别提到了第三方库albumentations，它提供了超过70种变换，包括像素级和空间级变换，以及如何与PyTorch结合使用。此外，还深入探讨了Mosaic、MixUp、CutOut、CutMix和HSV颜色空间变换等技术，这些方法有助于提高模型的泛化能力和鲁棒性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

文章目录

数据增强介绍

1. 前言

这篇文章主要参考 A survey on Image Data Augmentation for Deep Learning， 总结了常用的传统扩增方法及其应用时的注意事项。这里的传统方法指不包括基于深度学习（比如 GAN）等新的扩增方法。

另外需要注意的是，虽然对于不同的任务，比如对于分类，检测任务，不同的任务在采用某一个具体的扩增方法的时候会有所不同，比如对于检测任务需要考虑对 bounding box 进行相应的操作，但是这里仅仅从扩增方法的角度来说是没有区别的。

最后， 数据扩增的具体方法非常多，而且除了各个训练框架提供的方法之外还有很多第三方库，这里仅仅是整理了一

了解本专栏 已下架不支持订阅
小酒馆燃着灯
关注
专栏目录

已下架不支持订阅

AI目标检测优化技巧：数据增强、模型压缩与部署全攻略
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
06-16 672
数据增强：解决“数据不够，模型学不牢”的问题；模型压缩：解决“模型太大，设备跑不动”的问题；部署优化：解决“理论强，实际用不了”的问题。适合希望将目标检测模型从实验室推向实际场景的开发者。本文以“数据增强→模型压缩→部署优化”为主线，结合生活案例、代码示例与实战项目，逐步拆解每个环节的原理与操作。数据增强：通过图像变换让模型“见多识广”，提升泛化能力；模型压缩：通过剪枝、量化等方法给模型“减肥”，减少计算量与体积；模型部署：将压缩后的模型适配硬件，实现高效推理。
小知识点系列(一) 本文(2.2万字) | 图像变换 | 平移缩放旋转翻错切 | 仿射变换与透视变换 | 代码复现 |
专注于人工智能学习，总结
12-25 1139
旋转同平移一样，也是用仿射变换实现的，因此也需要定义一个变换矩阵。OpenCV直接提供了 cv.getRotationMatrix2D()函数来生成这个矩阵，该函数有三个参数：参数1：图片的旋转中心参数2：旋转角度(正：逆时针，负：顺时针)参数3：缩放比例，0.5表示缩小一半图解图像各种变换《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程图像几何变换仿射变换与透视变换。
高阶数据增强：Cutmix 原理讲解&零基础程序实现
热门推荐
qq_44949041的博客
03-16 1万+
CutMix是一种数据增强技术，用于在训练图像分类模型时减轻过拟合问题,可以帮助提高模型的泛化性能和鲁棒性，是竞赛的一个重要涨分点。CutMix的核心思想是将两张图像的一部分混合在一起，生成一个新的训练样本。本篇博客详细讲解了CutMix的原理，并从零开始教大家实现将CutMix移植到自己的网络模型上。
使用pytorch利用albumentation库进行数据增强处理操作
Maple__Boy
07-01 1075
废话不多话，直接上代码直接实操！！！ import cv2 from skimage.transform import AffineTransform, warp import numpy as np import skimage.io import albumentations as A from albumentations.core.transforms_interface import DualTransform from albumentations.augmentations import fu
目标检测数据集使用Albumentation数据库进行数据增强
weixin_43747177的博客
04-21 1847
import xml.dom.minidom import cv2 from albumentations import( BboxParams, RandomGamma, Compose, Blur, CenterCrop, HueSaturationValue, MotionBlur, Cutout, RandomBrightness,RandomContrast ) import os import glob def read_xml(path): exp_xm
【目标分类图像增强方法】
小秋的博客
03-07 1676
目标分类图像增强是一种用于提高深度学习模型泛化能力的技术，通过在训练过程中对原始图像进行各种变换来增加模型所见数据的多样性。原理：将一张图像的一部分替换为另一张图像的相应部分，并更新标签，促进类别间的边界学习。：线性插值两张图像和它们的标签，生成新的训练样本，旨在创建两个类别间的中间过渡样本。原理：水平或垂直翻转图像，模拟镜像效果，提高模型对左右对称性的识别能力。原理：随机擦除图像的部分区域，训练模型关注缺失信息时也能正确分类。原理：随机旋转图像，增加模型对目标物体不同角度的识别能力。
【计算机视觉】数据增强
最新发布
zkw54334的博客
03-22 1088
数据增强技术在计算机视觉中具有非常重要的作用，通过多样化的数据变换，可以显著提升模型的泛化能力。在实际应用中，可以根据具体任务选择合适的增强方式和参数，同时也可以组合使用多种增强方法，构建一个丰富的数据增强流水线。Albumentations 是一个功能更强大的图像增强库，它支持更多高级的数据增强技术。下面的示例代码展示了如何使用 Albumentations 对图像进行增强。在深度学习中，数据集往往有限，而模型需要大量的样本来学习特征。两种方式，这两种方式各有优缺点，可根据项目需求进行选择。
小知识点系列(三) 本文(3万字) | PAN与代码复现 | Backbone之FPN与代码复现 | SPP / SPPF / SimSPPF / ASPP / RFB / SPPCSPC |
专注于人工智能学习，总结
12-28 1378
PAN与代码复现小知识点系列(三) 本文(3万字) | PAN与代码复现 | Backbone之FPN与代码复现 | SPP / SPPF / SimSPPF / ASPP / RFB / SPPCSPC |《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程。
小知识点系列(七) 本文(2万字) | 解读深度学习中模型大小与推理速度 |
专注于人工智能学习，总结
12-28 1009
当年实习做算法时，主管给的第一个任务就是「把一个大的分割模型砍成一个小的当时并不理解模型「大」「小」的真正含义，就简单地选取计算量作为评价指标，疯狂砍计算量（backbone 换 MobileNet/ShuffleNet、Conv 换成 DepthWise Conv、以及一些奇奇怪怪的融合结构等等），把模型计算量砍了将近 10 倍，结果一部署发现速度并没有快多少，反而是把最初的 ResNet 简单砍掉几个 block 效果更好。
工具系列(三) 本文(1.5万字) | 解析glob.glob | os.walk |
专注于人工智能学习，总结
12-29 1041
glob是python的标准库模块，只要安装python就可以使用该模块。glob模块主要用来查找目录和文件，可以使用*、？、[]这三种通配符对路径中的文件进行匹配。：代表0个或多个字符?：代表一个字符[]：匹配指定范围内的字符，如[0-9]匹配数字Unix样式路径名模式扩展glob模块英文文档patterns."""
Albumentation使用指南
NOWAY的博客
08-31 9078
Albumentation使用指南 import最好放在最前面否则可能会和其他模块冲突，import之后如果包OMP的错误就加两行 import os os.environ['KMP_DUPLICATE_LIB_OK']='TRUE' 资源 官方example 官方demo 使用 import albumentations as A from PIL import Image import cv2 as cv import numpy as np from data imp...
albumentation
kui9702的博客
01-24 4866
常用的图像增强库 albumentation github地址 ：https://github.com/albumentations-team/albumentations 官网地址：https://albumentations.readthedocs.io/en/latest/ imgaug github: https://github.com/aleju/imgaug 官网地址: https://imgaug.readthedocs.io/en/latest/ Augmentor github
Kaggle知识点：数据扩增方法
fengdu78的博客
04-25 1296
在Kaggle视觉竞赛中，数据扩增（Data Augmentation）是不可少的环节。数据扩增可以增加训练集的样本，同时也可以有效环节模型过拟合的情况，也可以给模型带来的更强的泛化能力...
pytorch 数据增强cutmix的实现
cp1314971的博客
06-08 8792
摘要 cutmix和mixup是一种比较重要的数据增强手段，普通的数据增强也只是在照片上修改，增强了对网络提取特征图的能力，cutmix这种就是混合label，增强了fc的学习能力。 cutmix的思想， 只要是用过二张照片，随机的截取一部分，然后换位置，导致label也发生变化。 本来有四种花，我放上去的图片是二个换位置比较明显的图片，照片对应发生改变，label也改变了，变成了有小数的，这里大家可能有疑问。我这里是在线下做的测试，在实际我们运行程序的过程中，原本分类的label的1确实会变成小数，但
图像增强（albumentations）与随机种子
CARA的专栏
09-27 3106
通过torchvision.transforms，可实现不同batch的训练样本根据transforms设置的各种图像处理的概率 我们知道，用torchvision.transforms、albumentations等库通过配置transforms pipline可以实现数据增强。根据定义的每种图像处理对应的概率，使得每个batch中，同个样本会做不同的图像处理，从而得到各种不同的变体图像。通过这样的方式，可以变相达到增加训练样本的目标，达到丰富我们的训练样本的目的。 但我有个疑问，如果固定随机种子，是
计算机视觉之Albumentations图像数据增强库
重点记录机器人和自动驾驶相关领域的技术，尤其是计算机视觉，视觉SLAM等，不仅有前言文献或必备算法的学习，也会有实际应用的点滴经验
11-29 1874
文章目录1 安装2 参考3 实例 打kaggle图像类的比赛时总是会用到Albumentations库，这个库挺强大的，基于OpenCV实现的，API接口简单，也易于添加到AI框架比如Pytorch中，因此，特别适合用于深度学习中的网络训练时的图片数据增强。 1 安装 Albumentations库的安装： # 建议把opencv-python也安装 # -i 之后加的是豆瓣源 pip install albumentations -i https://pypi.douban.com/simple 2 参
[pytorch] 图像识别之ohem loss (+mixup/cutmix)
MachineLP的专栏
02-07 1733
本人kaggle分享链接：https://www.kaggle.com/c/bengaliai-cv19/discussion/128637 def ohem_loss( rate, cls_pred, cls_target ): batch_size = cls_pred.size(0) ohem_cls_loss = F.cross_entropy(cls_pred...
albumentations——python 数据扩充库
Nick Blog
02-21 3520
详细教程：https://albumentations.readthedocs.io/en/latest/api/augmentations.html
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值