【传知代码】基于标签相关性的多标签学习（论文复现）

原创

已于 2024-09-21 10:15:39 修改 · 1.5k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #经验分享 #机器学习 #论文笔记

于 2024-08-02 22:44:24 首次发布

在当今信息爆炸的时代，数据中包含的标签信息对于理解和分析复杂问题至关重要。在诸如文本分类、图像识别和推荐系统等应用中，如何有效地利用标签相关性提升多标签学习的效果成为了研究的热点之一。基于标签相关性的多标签学习方法，通过挖掘不同标签之间的潜在关联，旨在提高模型对多标签数据的准确性和泛化能力。

概述

帕金森病是一种使人虚弱的慢性神经系统疾病。传统中医（TCM）是一种诊断帕金森病的新方法，而用于诊断帕金森病的中医数据集是一个多标签数据集。考虑到帕金森病数据集中的症状（标签）之间总是存在相关性，可以通过利用标签相关性来促进多标签学习过程。目前的多标签分类方法主要尝试从标签对或标签链中挖掘相关性。该文章提出了一种简单且高效的多标签分类框架，称为潜在狄利克雷分布多标签（LDAML），该框架旨在通过使用类别标签的主题模型来学习全局相关性。简而言之，研究人员试图通过主题模型在标签集上获得抽象的“主题”，从而能够挖掘标签之间的全局相关性。大量实验清楚地验证了所提出的方法是一个通用且有效的框架，能够提高大多数多标签算法的性能。基于该框架，研究人员在中医帕金森病数据集上取得了令人满意的实验结果，这可以为该领域的发展提供参考和帮助。

多标签学习（Multi-Label Learning）是一种机器学习方法，用于处理具有多个标签的数据样本。与传统的单标签学习不同，每个数据点在多标签学习中可以同时属于一个或多个类别，而不仅仅是一个确定的标签。其目标是经过算法训练后输出一个分类模型，即学习一组从特征空间到标记空间的实值函数映射。假设使用X=RdX=Rd表示一个d维的输入空间，Y={y1,y2,y3,...,yq}Y={y1,y2,y3,...,yq}表示可能输出的q个类别，多标签任务即在训练集合D={(x1,Y1),(x2,Y2),...,(xm,Ym)}D={(x1,Y1),(x2,Y2),...,(xm,Ym)}上学习一个X到Y的函数，该函数可以衡量x和y的相关性，对于未见过的实例x预测其对应的标签y。

今天介绍的论文是多标签学习经典算法——LDAML，论文链接：https://ieeexplore.ieee.org/abstract/document/8217717 ，如下图所示：

论文提出了一种通用且高效的多标签分类框架——Latent Dirichlet Allocation Multi-Label (LDAML)。该框架通过利用标签间的关联性进行多标签分类。该框架可以应用于大多数当前的多标签分类方法，使其性能得到提升。通过使用LDAML框架，可以显著提升简单方法（如Binary Relevance, BR）的性能，甚至超过某些最新的方法，同时保持较低的时间成本。提出的改进LDAML在某些特殊数据集（如帕金森数据集）上取得了最佳性能。特别是在帕金森数据集上，改进的LDAML框架实现了最优性能，达到了本文的最终目标。该方法能够在未来为医生提供指导和帮助。

算法流程

与通过查找标签子集或标签链来利用相关性的传统方法不同，LDAML通过发现标签的抽象“主题”来利用相关性。假设为d维特征向量的输入空间，表示q类标号的输出空间。给定多标签训练集，其中为d维特征向量，为对应的标签集。我们可以将每个实例看作一个文档，每个标签看作文档中的一个单词。直观地说，一定有一些抽象的“主题”，期望特定的标签或多或少地出现在实例中，特别是在包含大量相关标签的多标签数据集中。LDAML算法的主要流程分为两步：（1）从训练集中挖掘标签主题；（2）计算主题的离散分布。

从训练集中挖掘标签主题: 首先，我们将LDA引入到训练集d中，每个实例xi表示文档，每个标签表示第i个实例中的第j个标签。然后利用LDA模型生成过程计算实例-主题 θ 的概率分布矩阵，其中表示第i个实例注入第j主题的概率。
主题的离散分布: 计算实例-主题分布矩阵后，得到每个实例属于每个主题的概率值。为了确定实例确切属于哪个主题，我们需要用离散值0/1来代替概率值。在这里我们使用的离散化方法如下所示：