66、基于改进无监督判别投影的半监督深度学习-CSDN博客

本文链接：https://blog.csdn.net/rock5/article/details/149522931

基于改进无监督判别投影的半监督深度学习

1. 引言

在现实中，许多机器学习任务面临的主要困难之一是手动标记大量数据。对于深度学习而言，这一问题尤为突出，因为它通常需要大量标注良好的样本。因此，如何使用最少的标注数据来训练深度网络成为该领域的重要课题。为解决这一问题，研究人员提出利用大量未标注数据提取整体数据分布的拓扑结构，结合少量标注数据，可显著提高模型的泛化能力，即半监督学习。

近年来，半监督深度学习取得了一定进展，现有工作的主要思路大致分为两类：
- 基于生成模型的算法：未标注样本帮助生成模型学习潜在样本分布以进行样本生成，例如 CatGAN、BadGAN、变分贝叶斯等。
- 基于判别模型的算法：未标注数据的作用可能是提供样本分布信息以防止模型过拟合，或使模型更具抗干扰能力，典型算法包括无监督损失正则化、潜在特征嵌入、伪标签等。

本文提出的方法属于第二类，将捕获局部和全局样本分布特征的无监督正则化项添加到损失函数中，用于半监督深度学习。该算法基于流形正则化理论，在传统监督学习框架的损失函数基础上，添加新的正则化项来惩罚判别函数在样本分布流形上的复杂性，使决策边界尽量不破坏数据分布的流形结构，同时保持自身尽可能简单，最终穿过数据稀疏分布的区域。然而，流形正则化在半监督深度学习领域的应用研究尚未充分展开，其构建仅考虑了样本的局部结构关系。因此，本文提出基于改进无监督判别投影（UDP）的新型流形损失项，结合局部和非局部分布信息，并通过实验证明其在半监督深度学习中能产生比其他方法更好的分类准确率。