Joselynzhao

本文提出了一种语言引导的自适应超模态学习方法（ALMT）用于多模态情感分析，通过抑制视觉和音频模态中的情感无关冗余信息并解决跨模态冲突问题。核心创新包括：1）设计自适应超模态学习（AHL）模块，利用语言特征的多尺度信息动态引导辅助模态生成互补表示；2）采用跨模态融合Transformer实现高效的情感特征聚合。在MOSI、MOSEI和CH-SIMS数据集上的实验表明，该方法在分类和回归任务中均优于现有模型，尤其在细粒度情感分析中提升显著。该研究为多模态情感分析中的冗余抑制和跨模态融合提供了有效解决方案。

多模态情感分析（MSA）在实际应用中常面临数据不完整问题，如传感器故障或自动语音识别错误。现有方法多依赖完整数据学习联合表示，在严重缺失场景下性能显著下降，且评估框架缺乏统一性。本文提出**语言主导抗噪声学习网络（LNLN）**，通过**主导模态纠正（DMC）模块**利用对抗学习增强语言模态特征完整性，结合**基于主导模态的多模态学习（DMML）模块**实现动态特征融合，并引入重构器恢复缺失信息。在MOSI、MOSEI和SIMS数据集上的实验表明，LNLN在随机缺失场景下显著优于现有基线方法，尤其在高缺失

在多模态情感识别（MER）中，实际应用常因传感器损坏或隐私保护等问题面临不完整多模态场景。现有方法聚焦于学习更好的跨模态联合表示，但缺乏对判别性单模态表示的学习。为此，本文提出一种新颖的两阶段训练框架MoMKE（模态知识专家混合模型）。在单模态专家训练阶段，各专家从对应模态中学习单模态知识；在专家混合训练阶段，利用所有模态专家的知识学习单模态和联合表示，并设计软路由（Soft Router）通过动态混合单模态与联合表示来丰富模态表示。在三个基准数据集上的多组不完整多模态实验表明，MoMKE性能稳健，尤其在严