域适应（Domain Adaptation）

文章目录导读前言域适应类别任务相关性一步域适应技术及其应用基于散度的域适应基于对抗的域适应基于重建的域适应结论 导读 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation，DA ）。因为其任务相同，域适应属于一种直推式迁移学习。在计算机视觉中，域适应是一个常见要求，因为带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。那么解决这类问题的思路是什么呢？请看 AI 前线翻译的这篇文章，希望能有所启

域适应，Domain Adaptation，DA 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation）。 比如说，我们要实现一个自动区分垃圾邮件的算法。源数据是我的邮箱中的数据。现在要用这个算法对我朋友邮箱中的邮件进行分类。那么这就是两个任务相同，数据分布不同的任务了。 域适应是一种特殊的迁移学习 ...

定义 　　在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种 特殊 的迁移学习 叫做域适应 （Domain Adaptation）。 Domain adaptation有哪些实现手段呢？ 　　几乎所有的手段都尝试去学习一个特征转换，使得在转换过后的特征空间上，source dataset和target dataset分布的区分度达到最小。现实世界当中这个问题又分为...

最后，使用获得的目标标签(以及可选的，标记的源和未标记的目标数据)来更新模型，从而得到分类良好的目标数据(右)。其核心思想是在源领域（source domain）和目标领域（target domain）之间，通过重新加权源领域的数据，来使源领域和目标领域的分布更加接近，从而提高在目标领域上的模型性能。主动域适应重加权算法的工作原理是通过重新加权源领域的数据，然后在重新加权的源数据上训练模型，以最小化源领域和目标领域之间的分布差异。这些技术有效减少了源域和目标域之间的差异，提升了模型在目标域的性能。

半监督域自适应（SSDA）涉及学习将看不见的目标数据与一些标记和大量未标记的目标数据以及来自相关域的许多标记源数据进行分类。当前的SSDA方法通常旨在通过特征空间映射和伪标签分配将目标数据与标记的源数据对齐。然而，这种面向源的模型有时会将目标数据与错误类的源数据对齐，从而降低分类性能。本文提出了一种新的源自适应范式，该范式调整源数据以匹配目标数据。关键思想是将源数据视为理想目标数据的噪声标记版本。然后，本文提出了一个SSDA模型，该模型借助于从目标角度设计的强大的清洁器组件来动态地清除标签噪声。

传统的无监督域自适应方法假设所有源类别都存在于目标域中。在实践中，对于这两个领域之间的类别重叠可能知之甚少。虽然有些方法使用部分或开放集类别处理目标设置，但它们假设特定设置是已知的先验设置。本文提出了一个更普遍适用的领域自适应框架，可以处理任意类别的转移，称为通过熵优化的领域自适应邻域聚类(DANCE)。DANCE结合了两个新颖的思想:首先，由于不能完全依赖源分类来判别目标的特征，因此提出了一种新的邻域聚类技术，以自监督的方式学习目标域的结构。

无监督域自适应旨在将学习到的知识从一个有标记的源领域转移到另一个无标记的目标领域。大多数现有的UDA方法都是使用基于卷积神经网络(cnn)的框架，从领域层面或类别层面学习域不变特征表示。基于类别级别的UDA的一个基本问题是为目标域中的样本产生伪标签，这些伪标签通常过于嘈杂，无法进行准确的域对齐，不可避免地影响了UDA的性能。随着Transformer在各种任务中的成功，我们发现Transformer中的交叉注意对噪声输入对具有鲁棒性，可以更好地进行特征对准，因此本文将Transformer用于具有挑战性的U

你想，源域分类可以分的很好，目标域又和源域的差异很小，这四舍五入，不就是目标域分类分的很好嘛。通常而言，源域的数据是大量的有标签的，目标域的数据是大量的无标签的，只有少部分有标签的。即优化绿色部分的特征提取器，来尽量让红色部分的判别器分不清特征是源域的还是目标域的。就说明在这个特征空间里源域和目标域是一致的，也可以理解为源域与目标域的差异很小。该方法损失函数由两部分组成：源域的分类交叉熵损失和源域与目标域的差异MMD。基于特征的自适应、基于实例的自适应、基于模型参数的自适应。利用已学知识解决新问题。

首先感谢原博主：https://www.cnblogs.com/Terrypython/p/10645520.html 1. 定义 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation）。 比如说，我们要实现一个自动区分垃圾邮件的算法。源数据是我的邮箱中的数据。现在要用这个算法对我朋友邮箱中的邮件进行分类。那么这就是两个...

深度域适应综述_一般情况与复杂情况（学习笔记） 文章目录 深度域适应综述_一般情况与复杂情况（学习笔记） 图释 摘要 概述 文章主要内容 1.迁移学习概述 1.1 迁移学习, 域适应以及深度域适应的形式化定义 迁移学习 域适应 深度域适应 域适应与迁移学习的关系 1.2 影响目标域任务性能的因素——泛化误差 1.3 负迁移 2 深度域适应 2.1 基于领域分布差异的方法 2.1.1 基于统计准则的方法⭐⭐⭐ （1）MMD(Maximum Mean Discrepancy, 最大均值差异) （2）CORAL（

SHeDD 通过特征解耦与一致性正则化，有效解决了异质域适应问题，在遥感数据基准上表现优异，为跨模态迁移学习提供了新思路。

我们希望特征处理器feature extractor处理source domain和target domain data后的向量，两者的向量分布都是差不多的（如上图的右下角，颜色接近）。迁移学习能解决很多时候训练集和测试集存在数据分布差异的问题，迁移学习的一种方法——domain adaptation域自适应，一般是表示域不同（数据集集合），但任务相同。fine-tune（微调）：是对已经训练好的模型，把整个这个模型放到另一个数据集上继续进行训练（其中参数继续发生变化）

**问题：**训练集和测试集不同时，对象分类器的精度降低； **解决：**既要适应于封闭集也要适应于开放集； **目的：**将那些可能属于源数据中感兴趣的类别目标实例标记出来； **方法：**即迭代求解方法； 需了解的知识： 域适应：为了使用源域中带注释的图像对目标域中的图像进行分类，在本文中，将源域的特征空间映射到目标域的特征空间，通过对源域中转换后的数据学习任何分类器对目标域分类。 开放集和封...

本文介绍我们最近的一篇TPAMI工作：Unsupervised Multi-Class Domain Adaptation: Theory, Algorithms, and Practice。 域适应（即domain adaptation）是迁移学习中的重要课题。该课题的目标是：输入有标签的源域数据和无标签的目标域数据，输出一个适用于目标域的模型。 源域和目标域假设任务相同但是数据分布不同既然源域...

论文学习：Adversarial Multiple Source Domain Adaptation 论文——Adversarial Multiple Source Domain Adaptation已上传资源，可免费下载 什么是领域自适应？ 从有标记源领域到无标记目标领域的知识转移。 领域自适应Domain Adaptation通过利用不同但相关的源领域中的训练数据来解决目标领域中的学习问题。 关于领域自适应的研究还是比较多的，不过大多数都是基于单源域的适应。 更新… 参考 ...