【论文解读】MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos

最新推荐文章于 2025-08-22 21:46:23 发布
最新推荐文章于 2025-08-22 21:46:23 发布
阅读量693 收藏
点赞数 13
CC 4.0 BY-SA版权
分类专栏： 视频质量评价-视频前处理 解读论文 文章标签： 深度学习 视频质量评价 MD-VQA VQA 无参考视频质量评价 音视频 UGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanceyxin/article/details/144298116

摘要

用户生成内容（UGC）的直播视频在拍摄过程中常常会受到各种失真的影响，因此展现出多样的视觉质量。这些源视频在分发给最终用户之前，还会被媒体服务器提供商进一步压缩和转码。由于UGC直播视频的蓬勃发展，需要有效的视频质量评估（VQA）工具来监控并在分发过程中感知优化直播视频。在本文中，我们通过构建第一个主观的UGC直播VQA数据库并开发一个有效的评估工具来解决UGC直播VQA问题。具体来说，我们在真实的直播场景中收集了418个源UGC视频，并为后续的主观VQA实验生成了3762个不同比特率的压缩视频。基于构建的数据库，我们开发了一个多维VQA（MD-VQA）评估器，分别从语义、失真和运动方面来衡量UGC直播视频的视觉质量。广泛的实验结果表明，MD-VQA在我们的UGC直播VQA数据库以及现有的压缩UGC VQA数据库上都实现了最先进的性能。

介绍

随着社交媒体应用的快速发展和视频拍摄及处理技

了解本专栏 订阅专栏 解锁全文 超级会员免费看
视频质量评价SimpleVQA
程序猿追的博客
09-23 1455
Motion feature extraction模块是参数冻结的，可以直接使用训练好的参数进行特征提取，这个模块其内涵是使用3D CNN,Spatial feature extraction模块是可训练的，这个模块其内涵是预训练的ResNet，预训练的ResNet可以帮助模型提取充分的语义信息，并且将4个stage的特征图进行全局平均值和标准差池化，以满足多尺度视频。因为背景的美学已经开始影响视频的质量分数了。对于视频质量评价而言，视频的质量主要取决于视频的内容、视频的稳定性、视频有无失真。
CVPR 2023｜淘宝视频质量评价算法MD-VQA
我爱计算机视觉
03-21 2245
关注公众号，发现CV技术之美本文介绍CVPR 2023论文《MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos》，适用于无参考视频质量评价的最新研究成果，作者团队来自阿里巴巴大淘宝技术。在淘宝，每天有亿级的User-Generated Content (UGC) 等非传统广电视频（包括但不限于短视频、直播等）被生产或播放...
NTIRE 2023 视频质量评价比赛冠军方案解读
我爱计算机视觉
04-27 1927
关注公众号，发现CV技术之美近日，CVPR NTIRE 2023 Quality Assessment of Video Enhancement Challenge比赛结果公布，来自大淘宝音视频技术团队的同学组成「TB-VQA」队伍，从37支队伍中脱颖而出，拿下该比赛（唯一赛道）冠军。此次夺冠是团队继MSU 2020和2021世界编码器比赛、CVPR NTIRE 2022压缩视频超分与增强比赛夺魁...
MD-VQA：视频质量评价算法
程序员深度学习
02-05 1951
在淘宝，每天有亿级的User-Generated Content (UGC) 等非传统广电视频（包括但不限于短视频、直播等）被生产或播放，其存在明确的无参考视频质量评价的需求，用以对视频质量进行实时监控，确保用户体验。因此，大淘宝音视频技术团队自研了一种针对UGC视频的无参考视频质量评价模型 —— MD-VQA（Multi-Dimensional Video Quality Assessment），综合视频的语义、失真、运动等多维度信息，来衡量视频绝对质量的高低。
2023CVPR_IQA/VQA论文阅读
qq_42351942的博客
06-06 1905
今年的CVPR论文多关注无参考图像情况下，更具实际应用价值的图像、视频质量评价工作。总的来讲，重点基本都是——人眼视觉系统下同时考虑内容和失真的相互作用及其对最终质量感知的影响。而且不得不说，利用无监督手段解决问题的策略显然越来越受欢迎，回归本质，出发点都是针对真实情况下，多种失真同时作用在一张图像上，从而与人眼视觉质量感知直接相关。因此，可以从两方面解决问题：一方面，对于有标签的训练，就要加大可训练数据量，构建更大规模的数据集，从而提升监督学习下模型的鲁棒性能；
MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos
05-29
《MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos》这篇论文提出了一个创新的UGC直播视频质量评估框架——MD-VQA。通过构建一个包含真实UGC源视频及其压缩版本的数据库，并开发一个多维度的质量...
【论文解读】FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling
世界那么大，我想去看看～【偶尔更新，看世界去了😄】
10-13 451
【论文解读】FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling
视频质量评价 Video Quality Assessment 笔记2024
jacke121的专栏
11-16 742
视频质量评价 Video Quality Assessment 笔记2024
mcan-vqa代码
⛄
09-07 1076
总代码readme.md 先决条件 软硬件要求 您可能需要一台至少配备1 个 GPU (>= 8GB)、20GB 内存和50GB 可用磁盘空间的机器。我们强烈建议使用 SSD 驱动器来保证高速 I/O。 您应该首先安装一些必要的软件包： 安装Python >= 3.5 安装Cuda >= 9.0 和cuDNN 使用 CUDA安装PyTorch >= 0.4.1（也支持 PyTorch 1.x） 安装SpaCy并初始化 GloVe 如下： $ pip install -r requ
AI 辅助逆向抄数：点云优化工具与深度学习建模能力在消费电子领域的应用
SYNCON_SEMI的博客
08-22 540
摘要：AI技术正革新消费电子逆向抄数，突破传统方法在数据处理、建模精度和迭代速度上的局限。智能点云优化工具可提升70%处理效率，深度学习建模使精度达95%以上，某智能手表案例显示研发周期缩短40%。新启航半导体推出微米级三维扫描方案，具备反光表面扫描、六轴自动扫描等五大优势，测量精度达±0.02mm，扫描速度80万次/秒，为智能制造提供全周期技术支持。（150字）
动手学深度学习（pytorch版）：第五章节—深度学习计算（2）参数管理
weixin_70217160的博客
08-21 734
本文介绍了深度学习模型训练中的参数访问、初始化和共享方法。主要内容包括：1）通过索引和named_parameters()访问网络各层参数；2）使用内置初始化器（如正态分布、常数、Xavier）和自定义初始化方法设置参数；3）实现参数绑定，使不同层共享同一参数张量。文中通过PyTorch示例展示了如何操作参数对象，提取数值和梯度，以及在不同层级进行差异化初始化。这些技术对模型调试、优化和复用具有重要意义。
yolo_RK3588系列（三）
TracyWdz的博客
08-20 1107
本文介绍了将YOLOv5模型部署到RK3588芯片的完整流程。首先需将.pt权重文件转换为.onnx格式，再通过RKNN工具包转为.rknn格式。在板端部署时，需检查NPU驱动版本和环境配置，并确保模型输出维度与推理代码匹配。最后运行demo程序进行图片或视频流推理，通过调整NMS阈值和置信度阈值优化检测效果。整个过程涉及格式转换、环境验证和参数调整等关键步骤，最终实现模型在嵌入式设备上的高效运行。
深度学习介绍
最新发布
weixin_72931638的博客
08-22 688
经典机器学习（如随机森林、逻辑回归）适用于结构化数据分类，但图像分类效果差（高维数据导致性能下降）。深度学习优势：神经网络模拟人脑神经元连接，适合处理复杂数据（如图像）。辛顿（Hinton）提出神经网络与深度学习，推动AI发展并获得诺贝尔奖。技术演进：经典机器学习→深度学习（2013年后主流）→大模型（当前前沿，多模态发展中）。神经网络的核心是通过矩阵运算求解权重参数（ω），以拟合输入特征（X）与输出目标（Y）之间的关系。
数据清洗（Data Cleansing）——机器学习深度学习所需数据的清洗实战案例 （结构清晰、万字解析、完整代码）包括机器学习方法预测缺失值的实践
2302_78022640的博客
08-19 1026
加载你自己写的缺失值处理工具模块。核心思想：所有负责“基于训练集拟合并填充训练集”；与之配套的负责“用训练阶段学到的统计量/模型去填充测试集”。这样可以避免把测试集信息泄露到训练阶段。train_fill：基于训练集“学规则 + 填训练集”。test_fill：沿用训练集规则，填充测试集。简单剔除：CCA（删除有缺失的行）。统计填充：均值 / 中位数 / 众数。机器学习预测填充：线性回归（线性假设） / 随机森林（非线性、鲁棒）。这样设计的好处：不同方法可以随时替换，实验对比。
22_基于深度学习的桃子成熟度检测系统（yolo11、yolov8、yolov5+UI界面+Python项目源码+模型+标注好的数据集）
you 是 mine
08-19 1031
本项目基于PyQt5构建了简洁易用的图形用户界面，支持用户选择本地图片或视频进行目标检测。系统界面美观，交互流畅，具备良好的用户体验。项目附带完整的 Python 源码和详细的使用说明，适合学生进行学习或有一定 Python 基础的开发者，参考与二次开发。您可以在文末获取完整的代码资源文件。✨ 项目亮点🔧包括pyqt5界面、后台检测逻辑、模型加载等模块🧠源代码，支持个人添加改进、模型修改等🚀结构清晰，逻辑完整，便于演示使用数据集一部分个人标注，一部分来源网络，已统一标注格式并完成预处理，
大模型落地全攻略：从技术实现到场景应用
zzywxc787的博客
08-22 591
本文系统阐述了大语言模型（LLM）落地的四大核心方向：1）微调技术（LoRA等参数高效方法），通过领域适配提升专业性；2）提示词工程（CLEAR原则），低成本释放模型潜力；3）多模态应用（图文/视频分析），拓展数据类型边界；4）企业级方案（分层架构），解决安全、性能和扩展性问题。文章包含代码示例、流程图解和行业案例，强调从业务需求出发选择技术路径，实现从实验室验证到产业落地的完整闭环。随着技术成熟，大模型正从辅助工具演变为企业智能化基础设施。
PyTorch 常用方法总结
weixin_71945758的博客
08-22 490
【代码】PyTorch 常用方法总结。
理解循环神经网络(RNN)
DengCaixiang2021的博客
08-20 299
RNN（循环神经网络）是一种专门处理序列数据的神经网络，通过隐藏状态传递历史信息，实现对序列数据的记忆功能。其核心特点是每个时间步都会结合当前输入和前一步的隐藏状态生成输出，适用于连续剧理解、语言模型等时序任务。示例代码展示了PyTorch实现的简单RNN模型，包含输入层、RNN层和全连接层，演示了如何处理二维序列数据（batch_size=2, seq_len=5）并输出分类结果。该模型通过维护隐藏状态，使网络具备短期记忆能力。
easy-VQA: 4000张火车图像的视觉问答数据集
该数据集的压缩包文件名称为easy-VQA-master，意味着包含数据集的代码库和相关文件位于一个名为easy-VQA-master的压缩文件中。用户可以通过解压该文件来访问easy-VQA数据集的所有相关资源。 此外，easy-VQA的数据集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码流怪侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值