【多任务学习 | 论文】MTI-net (ECCV2020)

已于 2022-03-10 12:23:41 修改
阅读量849 收藏 2
点赞数 1
CC 4.0 BY-SA版权
文章标签： 深度学习 计算机视觉
于 2022-03-06 22:14:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maxingchizhang/article/details/123280204
本文探讨了多任务学习的优势，如节省内存和提高速度，并指出当任务间存在互补信息时性能更优。然而，负迁移可能导致训练效果下降。为解决此问题，文章提出了多尺度多模态 distillation 单元和特征传播模块，利用循环网络在不同尺度上捕获任务间的共性和差异，尤其是在场景解析、深度和语义分割等任务中。通过在不同尺度上处理，更好地利用了任务间的互补信息，提高了预测准确性。实验结果显示了这种方法的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章简介

论文链接 代码链接
 Accepted at ECCV2020
Main contribution: mutli-modal distillation unit & feature propagation module; 可以结合多个任务在不同scale下的特点结果.
任务：（室内）场景理解 scene parsing; 辅助任务: depth, semantic segmentation

Background & motivation

  • 多任务相比于Single task的优越性：相对于single task，更节省memory；因为减少了重复的feature计算所以有increased speed；如果有complementary information会效果更好

  • First, due to their layer sharing, the resulting memory footprint is substantially reduced. Second, as they explicitly avoid to repeatedly calculate the features in
    the shared layers, once for every task, they show increased inference speeds. Most importantly, they have the potential for improved performance if the associated tasks share complementar

最低0.47元/天 解锁文章

200万优质内容无限畅学
magmxc
关注
【论文阅读】多任务学习软参数共享经典论文:Cross-stitch Networks for Multi-task Learning
qq_38142901的博客
06-17 1215
本文提出了一种通用的多任务学习框架Cross-stitch Networks，通过可学习的权重矩阵自动调节不同任务间的特征共享程度。该方法在每层网络插入Cross-stitch单元，以线性组合方式混合各任务特征，既保留任务特性又实现信息共享。实验表明，该结构通用性好，尤其在小样本任务上性能提升显著。相比传统硬参数共享或独立训练，Cross-stitch Networks能自动学习最优共享模式。
《多任务学习》最新综述论文
04-06
多任务学习(Multi-Task Learning, MTL)是机器学习中的一种学习范式，其目的是利用多个相关任务中包含的有用信息来帮助提高所有任务的泛化性能。本文从算法建模、应用和理论分析三个方面对MTL进行了综述。在算法建模方面，给出了MTL的定义，并将不同的MTL算法分为特征学习、低秩、任务聚类、任务关系学习和分解五类，并讨论了每种方法的特点。
【论文阅读】多任务学习起源类论文《Multi-Task Feature Learning》
最新发布
qq_38142901的博客
06-10 1317
该论文提出了一种通过**低纬度表征多任务共性**的方法.通过建立一个1维范式问题将多任务共同学习特征数进行正则化.这个问题等价于一个凸优化问题,用迭代算法进行求解.整个算法可以理解为**非监督模块与监督模块,前者学习多任务的共同表征,后者使用该表征学习每个任务的目标.**
多任务学习论文导读: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
fanzitao的专栏
02-05 1720
基于神经网络的大规模多任务学习在产业界有广泛的应用，例如推荐系统。为什么现在的推荐系统会追求多任务呢？以头条类的新闻推荐为例，如果只追求点击率，那么标题党会大行其道，所以一般还会把阅读时长也作为一个目标。再比如短视频推荐，平台方更希望给用户带来更好的体验，例如长时间播放、点赞、高评分等。因此，我们可能需要针对多个目标进行建模，追求多目标之间的平衡或者共赢。 借助多任务学习，我们的目标是构建一个统...
《深度多任务学习》综述论文
06-13
尽管在深度学习方面取得了最近的进展，但大多数方法仍然采用类似“筒仓”的解决方案，专注于孤立地学习每个任务:为每个单独的任务训练一个单独的神经网络。然而，许多现实问题需要多模态方法，因此需要多任务模型。多任务学习(MTL)旨在利用跨任务的有用信息来提高模型的泛化能力。
多任务学习概述论文：从定义和方法到应用和原理分析
DRACOYU的博客
11-15 2793
多任务学习是一个很有前景的机器学习领域，相关的理论和实验研究成果以及应用也在不断涌现。近日，香港科技大学计算机科学与工程系的杨强教授和张宇助理教授在《国家科学评论（National Science Review）》2018 年 1 月份发布的「机器学习」专题期刊中发表了题为《An overview of multi-task learning》的概述论文，对多任务学习的现状进行了系统性的梳理和介绍...
【论文阅读】多任务学习综述《A Survey on Multi-Task Learning》
Iron_lyk Blog
11-06 3580
本文从算法建模、应用和理论分析的角度对多任务学习（MTL）进行了survey。在算法建模中，我们给出了MTL的定义，然后将不同的MTL算法分为 feature learning approach, low-rank approach, task clustering approach, task relation learning approach, 和decomposition approach五类，并讨论了每种方法的特点。为了进一步提高学习任务的性能，MTL可以与其他学习范式相结合，包括半监督学习、主动
Multi-Task-Learning-PyTorch:PyTorch多任务学习架构的实现，包括MTI-Net（ECCV2020）
05-05
多任务学习 此仓库旨在在PyTorch中实施几种多任务学习模型和培训策略。 该代码库是对以下工作的补充： ， ，Wouter Van Gansbeke，Marc Proesmans，Dengxin Dai和Luc Van Gool。 ， 和Luc Van Gool。 在可以找到...
PyTorch多任务学习实现及MTI-Net模型架构详解
MTI-Net（Multi-Task Inference Network）是一种在ECCV 2020会议上提出的多任务学习网络架构。ECCV（European Conference on Computer Vision）是计算机视觉领域的重要国际会议之一，2020年会议的相关成果被该代码库...
x86架构Linux下的MIPS交叉编译工具链 mips-mti-elf-*
07-23
本文将深入探讨“x86架构Linux下的MIPS交叉编译工具链 mips-mti-elf-*”及其相关知识点，以及如何利用“Codescape.GNU.Tools.Package.2017.10-05.for.MIPS.MTI.Bare.Metal.CentOS-5.x86_64”进行MIPS架构的程序开发...
MTI-MTD.rar_MTI MTD仿真_MTI处理代码_mti mtd_雷达动目标检测、MTI、MTD_雷达目标检测
07-15
总的来说，"MTI-MTD.rar"压缩包提供的资源是学习和研究雷达动目标检测的宝贵素材。它结合理论与实践，通过具体的MATLAB代码让读者深入理解MTI和MTD的实现过程，对于雷达信号处理领域的学习者来说，这是一个难得的...
Multi-Task-Learning:多任务学习的论文，代码和应用程​​序列表
04-18
多任务学习 有关多任务学习的论文，代码和应用程​​序列表。 欢迎发表评论和贡献！ 而且正在更新... [目录] 文件 民意调查 多任务学习调查。 arXiv ，2017年7月。 深度神经网络中的多任务学习概述。 2017年6月， arXiv 。 简要介绍多任务学习。 多媒体工具与应用，77（22）：29705–29725，2018年11月。 密集预测任务的多任务学习：一项调查。 arXiv ，2020年4月。 深度多任务学习和辅助任务学习的简要回顾。 2020年7月arXiv。 深度神经网络的多任务学习：一项调查，2020年。 架构设计 纯硬参数共享 MultiNet：自动驾驶的实时联合语义推理。 在IEEE Intelligent Vehicle Symposium，Proceedings ，2018。 使用不确定性权衡场景几何和语义损失的多任务学习。 IEEE计算机协会
最新最全论文合集——多任务学习在计算机视觉中的应用
AI_Conf的博客
03-29 668
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 论文集地址：https:/.
多任务深度学习论文阅读
Yan_Joy的博客
04-11 1989
Deep Learning Face Representation by Joint Identification-Verification这篇论文主要是针对人脸识别，分为两个任务： face identification task face verification task 前者目的是增大类间间距，即不同人的差距；后者是为了减小类内差距，即相同人在不同环境下的差异。 在网络的设计中，最终生成的
【论文笔记】多任务学习（Multi-Task Learning）
weixin_34406086的博客
01-08 7658
1. 前言 　　多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学...
并行多任务学习论文阅读（三）：运用代理损失进行任务分解
猎户座的博客
11-05 431
1 代理损失函数——一种并行化技巧 我们在本系列第一篇文章《并行多任务学习论文阅读(一)多任务学习速览》(链接：https://www.cnblogs.com/lonelyprince7/p/15481054.html)中提到，实现多任务学习的一种典型的方法为增加一个正则项[1][2][3]： \[\begin{aligned} \underset{\textbf{W}}{\min} ...
【亲测免费】 《多任务学习》最新综述论文
gitblog_06771的博客
04-24 348
《多任务学习》最新综述论文 【下载地址】多任务学习最新综述论文 《多任务学习》最新综述论文深入探讨了多任务学习（MTL）领域的前沿进展，从算法建模、实际应用到理论分析进行全面剖析。文章系统地将MTL算法划分为五大类，详细阐述其原理与优劣，并展示了其在计算机视觉、自然语言处理等领域的广泛适用性。同时，论文还深入分析了MTL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值