Python深度学习：【模型系列】Transformer面试灵魂20问

1. transformer简介

Transformer模型是一种基于自注意力机制的神经网络架构，主要用于处理序列数据，如自然语言处理任务。它由Google在2017年提出，并在“Attention is All You Need”这篇论文中首次公开。Transformer模型的核心思想是利用自注意力机制来捕捉序列中的依赖关系，从而实现对序列数据的有效处理。

Transformer模型主要由编码器和解码器两部分组成，每部分都包含多层自注意力机制和前馈神经网络。编码器负责将输入序列转换为一种内部表示，而解码器则利用这种内部表示来生成输出序列。通过堆叠多个编码器和解码器层，Transformer模型能够捕获更复杂的序列依赖关系。

与传统的循环神经网络（RNN）或卷积神经网络（CNN）相比，Transformer模型具有更强的并行计算能力，因此在处理长序列数据时具有更高的效率。此外，由于Transformer模型完全基于注意力机制，它能够更好地捕捉序列中的长距离依赖关系，从而在自然语言处理任务中取得更好的性能。

目前，Transformer模型已经成为自然语言处理领域的主流架构之一，被广泛应用于机器翻译、文本生成、语音识别等任务中。

2. 灵魂20问

1. Transformer为何使用多头注意力机制？（为什么不使用一个头）
2. Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？ （注意和第一个问题的区别）
3. Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂