论文阅读笔记AI篇 —— Transformer模型理论+实战 (一)

第一遍阅读（Abstract + Introduction + Conclusion）

Abstract中强调Transformer摒弃了循环和卷积网络结构，在English-to-German翻译任务中，BLEU得分为28.4， 在English-to-French的翻译任务中的BLEU得分为41.0，用8张GPU训练了3.5天，与各文献中的best models相比，这是非常小的训练成本。

Introduction中对RNN的一些工作做了总结，它说RNN结构本身，在序列长度变长时会产生限制，虽然有些工作通过factorization tricks因式分解和conditional computation对其进行运算效率上的提高，并且后者可以提高模型性能，但是，对于序列处理的最基本的局限性还是存在的。Attention机制已经在许多任务的序列建模和翻译任务中成为了重要的一部分，并且在大多数情况下，Attention机制都会与recurrent network一起使用。
然后作者说，他们提出了一种抛弃recurrent结构，完全使用Attention机制去描述input与output之间的全局关系。Transformer允许更大的并行度，并且在8张P100的GPU上训练了25h后，就在翻译质量上达到了SOTA。

Conclusion说，Transformer将