lstm 做多分类loss完全不下降_技术动态 | 多模态学习调研 (附完整PPT）

最新推荐文章于 2025-06-02 21:18:54 发布

原创

最新推荐文章于 2025-06-02 21:18:54 发布 · 955 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#lstm 做多分类loss完全不下降

本文介绍了多模态情感分析的VistaNet模型，通过Word到Sentence，再到Document的层次处理，以及Image representation attention，进行情感评分预测。同时，探讨了在Community QA中如何利用Visual Question Answering模型提升多模态问答平台的效果，并提出Learning Global Image Feature Weight和Grounding Features的训练策略。此外，还讨论了用于推荐系统的多模态评论生成方法，该方法结合用户、物品和图像信息生成预测评分和评论文本。最后，提到了肖仰华教授关于知识图谱的新教材即将出版。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

多模态机器学习指的就是在机器学习中用上不同形式的数据，如今比较常见的有文本、图像、音频数据。在多模态机器学习中，多模态数据的表示、多模态数据的融合，是研究中绕不开的两点。除此之外，还有多模态数据的对齐、多模态数据的转化等研究问题。本文针对机器学习领域会议在2019年针对多模态课题的研究做了简单的调研，下表是各会议中录用的多模态论文的一个统计，这里仅统计了在论文题中显示地指出了“MultiModal”的论文，还有更多的论文(尤其是CV领域)虽然没有显示地指出多模态，但早已经用到了多种数据模态。