weixin_45962681的博客

（背景）近年来，随着多模态数据量的迅速增加，多模态情感分析（MSA）越来越受到关注.该方法通过整合不同数据模态间的信息，提高了情感极性提取的准确性，从而实现了信息的全面融合，提高了情感分析的精度。（针对创新处的不足）然而，现有的深度模型往往忽略了空间和全局记忆信息对情感分析的辅助作用。此外，对语篇模态的强调往往会阻碍视觉和听觉模态信息的表达。（整个框架的创新）为解决该问题，提出了一种基于文本引导的多层次表示集成和多尺度空间-记忆信息融合模型T-MRMSM。

通过这个可微的结构，NetVLAD。

多模态情感分析（Multimodal Sentiment Analysis， MSA）综合利用多模态数据获取更准确的情感属性，在社交媒体分析、用户体验评价、医疗健康等领域有着重要的应用。值得注意的是，以往的研究很少关注语言（文本）和非语言（听觉和视觉）模式之间初始表征粒度的不一致性。因此，他们之间的情感信息不平衡使交互过程复杂化，最终影响模型的性能。为了解决这一问题，本文提出了一种帧级非语言特征增强网络（FNENet），通过缩小模态之间的差距和整合异步情感信息来提高MSA的性能。

多模态情感分析（MSA）在智能问答、计算机辅助心理治疗和视频理解等领域发挥着重要的作用，近年来引起了人们的广泛关注。它利用多模态信号，包括口头语言、面部手势和声音行为来识别视频中的情绪。在MSA中，语言形态通常优于非语言形态。因此，加强语言在语篇分析中的重要性将是提高识别准确率的重要途径。考虑到句子的意义在不同的非语言语境中往往是不同的，将非语言信息与文本表征相结合有助于准确理解话语所传达的情感。在本文中，我们提出了一个跨模态增强网络（CENet）模型，通过将视觉和声学信息集成到语言模型中来增强文本表示。