什么是注意力机制？注意力机制的核心组件（Query、 Key、 Value）

原创于 2025-06-25 11:16:35 发布 · 928 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #AI大模型 #大模型入门 #LLM #大模型 #AI #注意力机制

注意力机制

注意力机制是深度学习中一种模仿人类视觉注意力机制的模型设计，它允许神经网络在处理输入信息时‌有选择地关注最重要的部分，而忽略次要信息。其核心思想是：‌不是所有输入信息都同等重要。

想象你在一个嘈杂的咖啡馆里和朋友聊天。即使环境中充满噪音（其他顾客交谈、咖啡机声、音乐），你也能自动‌ “聚焦” 朋友的声音，而‌ “抑制” 背景噪音。你的大脑给朋友的声音赋予了很高的“权重”，给其他声音赋予了很低的“权重”。注意力机制本质上就是让神经网络学会计算这种权重并进行加权汇总。

生物学中注意力机制分为：外源性注意力 (exogenous attention) 和内源性注意力 (endogenous attention) 。

外源性注意力 (exogenous attention) ：路边看到一个长腿美女，目光会下意识的聚焦到她身上。
内源性注意力 (endogenous attention) ：读者想学习一下深度学习相关的知识，在众多微信推送中有意识的点开了本文，并点了关注（狗头）。

一、核心组件：Query, Key, Value (Q, K, V)

注意力机制通常抽象为三个核心向量角色：

1.Query ：代表当前的“疑问”或“关注点”。它表达了模型当前需要什么信息。

以阅读理解为例： Query 可能是当前要回答的问题或解码器当前步需要生成的词。
以图像识别为例： Query 可能是模型当前需要识别的某个物体的特征。

2.Key ：表示输入信息的“标识”或“索引”。它描述了输入序列中每个元素（词、像素、特征等）的“身份”或“内容概要”，用于判断该元素与当前 Query 的相关性。

在文本中： Key 可能是句子中每个词的向量表示（Embedding）。
在图像中： Key 可能是图像不同区域的特征向量。

3.Value ：‌ 表示输入信息的“实际内容”。它包含了每个输入元素真正要提供的信息。通常 Value 和 Key 是相同的向量（Self-Attention 最常见），也可以是不同的向量（例如经过转换）。

在文本中： Value 通常也是每个词的向量表示（与 Key 相同）。
在图像中： Value 也是各个区域的特征向量。

在这里插入图片描述

想象在图书馆查找（Query）一本特定的书。图书馆管理员（注意力机制）会：

在这里插入图片描述

二、解决的问题和优势

在这里插入图片描述

三、总结

注意力机制的原理是通过计算Query 与一系列Key 的相似度（得分），将其归一化为概率分布形式的注意力权重，然后用这些权重对对应的Value 向量进行加权求和，得到一个能聚焦于最重要信息的输出向量。它赋予了神经网络动态选择关注输入不同部分的能力，是解决长距离依赖、提升模型表达能力和可解释性的核心工具，也是现代深度学习模型（如 Transformer、BERT、GPT 等）取得突破性进展的关键基石。