【TF-BERT】基于张量的融合BERT多模态情感分析

不足：1. 传统跨模态transformer只能处理2种模态，所以现有方法需要分阶段融合3模态，引发信息丢失。2. 直接拼接多模态特征到BERT中，缺乏动态互补机制，无法有效整合非文本模态信息

改进方法：1. 基于张量的跨模态transformer模块，允许同时处理3个模态的交互，打破了2模态限制。2. 将TCF模块插入BERT的Transformer层，逐步融合多模态信息，即在Bert微调时动态补充非文本模态信息，避免简单拼接导致的语义干扰

abstract

（背景与问题）由于单模态情感识别在复杂的现实应用中的局限性，多模态情感分析（MSA）得到了极大的关注。传统方法通常集中于使用Transformer进行融合。然而，这些传统的方法往往达不到，因为Transformer只能同时处理两种模态，导致信息交换不足和情感数据的潜在丢失。（方法提出）针对传统跨模态Transformer模型一次只能处理两种模态的局限性，提出了一种基于张量的融合BERT模型（TF-BERT）。TF-BERT的核心是基于张量的跨模态融合（TCF）模块，该模块无缝集成到预训练的BERT语言模型中。通过将TCF模块嵌入到BERT的Transformer的多个层中，我们逐步实现了不同模态之间的动态互补。此外，我们设计了基于张量的跨模态Transformer（TCT）模块，该模块引入了一种基于张量的Transformer机制，能够同时处理三种不同的模态。这允许目标模态和其他两个源模态之间进行全面的信息交换，从而加强目标模态的表示。TCT克服了现有Crossmodal Transformer结构只能处理两个模态之间关系的局限性。（实验结果）此外，为了验证TF-BERT的有效性，我们在CMU-MOSI和CMU-MOSEI数据集上进行了广泛的实验。TF-BERT不仅在大多数指标上取得了最佳结果，而且还通过消融研究证明了其两个模块的有效性。研究结果表明，TFBERT有效地解决了以前的模型的局限性，逐步整合，并同时捕捉复杂的情感互动在所有形式。

intro

（研究背景，强调单一模态的不足，引出多模态情感分析的必要性）随着AI技术的进步和应用场景的拓展，单一模态的情感分析已不足以满足情感识别复杂多样的需求（Das & Singh，2023; Gandhi et al.，2023年）的报告。例如，仅仅依靠文本分析可能无法准确地捕捉说话者的情绪，因为语调和面部表情也起着至关重要的作用。这种情况催生了多模态情感分析（MSA）的出现，其目的是通过整合多个数据源，实现更准确、更全面的情感识别，如图1所示。例如，在智能客户服务系统中，结合文本、语音和面部表情可以更准确地评估用户的情绪。如果系统检测到用户语气中的不满意，它可以迅速调整其响应策略以提供更快或更详细的帮助。

（现有方法的缺陷）Zadeh等人（2017）的早期工作引入了一种基于张量的融合方法，计算3重笛卡尔空间以捕获模态之间的关系。近年来，随着深度学习的快速发展，研究者们不断创新融合策略，以更好地平衡不同模态之间的情感信息。Wang等人（2019）使用门控机制将音频和视频（非文本）模态转换为与文本模态相关的偏见，然后将其与文本融合。Mai等人（2021年）设计了声学和视觉LSTM来增强文本表征。Tsai等人（2019）将Transformer（Vaswani，2017）引入MSA领域，设计了用于融合不同模态的跨模态变压器。此后，交叉模态变换器得到了广泛的应用，Zhang等人（2022）利用它们来模拟人类感知系统，Huang等人（2023）利用它们来围绕文本进行融合。然而，尽管它们是有效的，但是这些跨模态变换器有一个局限性：它们的自注意结构一次只能接受两个模态作为输入，一个作为查询，另一个作为关键字和值，考虑到每次迭代只有两个模态之间的交互（Lv等人，2021年）的报告。由于多模态任务通常涉及两个以上的模态，所以当处理多模态时，这种结构限制要