为什么Transformer适合做多模态任务？

机器学习算法与自然语言处理

公众号关注 “ML_NLP”

设为 “星标”，重磅干货，第一时间送达！

来自 | 知乎作者 | 乎不知

链接｜https://www.zhihu.com/question/441073210/answer/1866751026

本文仅作学术分享，若侵权，请联系后台删文处理

其实不是“Transformer适合做多模态任务”，而是Transformer中的Attention适合做多模态任务，准确的说，应该是“Transformer中的Dot-product Attention适合做多模态任务”．

多模态任务的核心难点在于：不同模态的信息如何融合。而Dot-product Attention就给出了一种简单且有效的融合方案，在Dot-product Attention中，首先计算

的每个成分之间的相似度，然后根据

后的相似度信息的分数（代表着重要性），来调节模态

中的信息。

举个例子：现在有一个音视频场景检测的任务，假设以音频信息作为主要信息，则

分别选为

。然后计算统一个样本的音频特征和视频特征之间的相似度：

，进行音视频特征融合。信息融合后，用

将相似度分数归一化，来调节

中每一个向量。这样就可以使得音频特征和图像特征之间产生联系，将多模态的信息进行融合。

既然涉及了多模态，肯定要将不同模态的信息融合产生

的效果。融合的过程，就是计算不同模态间的相似度（联系），然后来调节别的信息。而Transformer中的Dot-product Attention刚好很适合这样做，所以适合于多模态任务。（个人观点，欢迎斧正）

推荐阅读：
Prompt—从CLIP到CoOp，Visual-Language Model新范式
Focal Loss --- 从直觉到实现
CPU和GPU，谁才是小学生？

点击下方卡片，关注公众号“机器学习算法与自然语言处理”，获取更多信息：

继续滑动看下一个

推荐阅读：Prompt—从CLIP到CoOp，Visual-Language Model新范式Focal Loss --- 从直觉到实现CPU和GPU，谁才是小学生？