注意力机制就是你所需要的
摘要
基于复杂的循环或卷积神经网络的主导序列转换模型包括编码器和解码器。最佳执行模型还通过注意机制将编码器和解码器连接起来。我们提出了一种新的简单的网络架构，Transformer，完全基于注意机制，完全不使用循环和卷积。在两个机器翻译任务中的实验表明，这些模型在质量上优于其他模型，同时更易并行化，训练时间显著缩短。我们的模型在 WMT 2014 英文到德文翻译任务上达到了 28.4 BLEU 的分数，相较于现有的最佳结果（包括集成模型），提升了 2 个 BLEU。在 WMT 2014 英文到法文翻译任务上，我们的模型在训练了 3.5 天的情况下，在八个 GPU 上实现了基于单一模型的 BLEU 分数的最新记录，达到了 41.8。这只是最佳模型的训练成本的一小部分。我们还展示了 Transformer 在使用大量和有限训练数据时成功应用于英文成分句法分析的通用性。
1 简介
循环神经网络，长短期记忆[13]和门控循环[7]神经网络特别是已经被确定为序列建模和转导问题的最先进方法，例如语言建模和机器翻译[35, 2, 5]。此后，许多努力继续推动循环语言模型和编码器-解码器架构的边界。
循环模型通常沿着输入和输出序列的符号位置对计算进行因式分解。将位置与计算时间步骤对齐，它们生成一系列隐藏状态
注意机制已经成为各种任务中引人注目的序列建模和转导模型的一个组成部分，允许对输入或输出序列中的依赖关系进行建模，而不考虑它们之间的距离[2, 19]。然而，在几乎所有情况下[27]，这种注意机制都是与循环网络一起使用的。
在这项工作中，我们提出了 Transformer，一个模型架构，摒弃了循环，并完全依赖于注意机制来建立输入和输出之间的全局依赖关系。Transformer 允许更高程度的并行化，在仅经过八个 P100 GPU 进行十二小时训练后，可以达到最新的翻译质量水平。
2 背景
减少顺序计算的目标也构成了 Extended Neural GPU [16]、ByteNet [18]和 ConvS2S [9]的基础，所有这些模型都使用卷积神经网络作为基本构建模块，在所有输入和输出位置并行计算隐藏表示。在这些模型中，从两个任意输入或输出位置关联信号所需的操作数量随着位置之间的距离增加而增加，对于 ConvS2S 是线性增长，对于 ByteNet 是对数增长。这使得学习远距离位置之间的依赖关系变得更加困难。在 Transformer 中，这被减少为一定数量的操作，尽管由于平均注意力加权位置而导致有效分辨率降低，我们通过第 3.2 节中描述的 Multi-Head Attention 来抵消这种影响。
自注意力，有时称为内部注意力，是一种关联单个序列的不同位置以计算序列表示的注意机制。 自我注意力已成功用于各种任务，包括阅读理解，摘要制作，文本推理和学习任务独立的句子表示[4, 27, 28, 22]。
端到端的记忆网络是基于循环注意力机制而不是序列对齐的循环，并且已被证明在简单语言问答和语言建模任务中表现良好 [34]。
就我们目前的了解而言，Transformer 是第一个完全依靠自注意力计算其输入和输出表示的转录模型，而不使用序列对齐的 RNN 或卷积。在下面的章节中，我们将描述 Transformer，解释自注意力并讨论其相对于模型 [17, 18] 和 [9] 的优势。
3. 模型架构
大多数竞争性神经序列转导模型具有编码器-解码器结构[5, 2, 35]。在这里，编码器将一个符号表示的输入序列
Transformer 遵循这一整体架构，使用堆叠的自注意力和点式、全连接层分别用于编码器和解码器，如图 1 左右两半所示。
图 1：变压器-模型架构。
3.1 编码器和解码器堆栈
编码器：编码器由
解码器：解码器也由
3.2 注意力
An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is computed as a weighted sum of the values, where the weight assigned to each value is computed by a compatibility function of the query with the corresponding key.
图 2: (左) 缩放点积注意力。 (右) 多头注意力由多个并行运行的注意力层组成。
3.2.1 缩放点积注意力
我们将我们的特别关注称为“缩放点积注意力”（图 2）。输入由维度为
在实践中，我们同时对一组查询计算注意函数，将其打包成矩阵
两种最常用的注意力函数是加性注意力[2]和点积（乘法）注意力。点积注意力与我们的算法相同，除了缩放因子
当
3.2.2 多头注意力
不是使用
多头注意力允许模型同时关注不同位置的不同表示子空间中的信息。使用单个注意力头，平均会受到抑制。
投影是参数矩阵
在这项工作中，我们使用
我们模型中注意力的应用
Transformer 以三种不同的方式使用多头注意力：
在“编码器-解码器注意力”层中，查询来自前一个解码器层，而内存键和值来自编码器的输出。这使得解码器中的每个位置都可以关注输入序列中的所有位置。这模拟了序列到序列模型中典型的编码器-解码器注意力机制，比如 [38, 2, 9]。
编码器包含自注意力层。在自注意力层中，所有的键、值和查询都来源于同一个地方，即编码器中前一层的输出。编码器中的每个位置都可以关注编码器前一层中的所有位置。
同样地，解码器中的自注意力层允许解码器中每个位置都可以关注到解码器中截止到该位置的所有位置。我们需要防止解码器中的左向信息流，以保持自回归性质。我们通过在缩放点积注意力中屏蔽（将其设置为）与非法连接对应的 softmax 输入中的所有值来实现这一点。请参见图 2。
3.3 位置逐层前馈网络
除了注意力子层外，我们的编码器(encoder)和解码器(decoder)中的每个层都包含一个全连接前馈网络，该网络独立地作用于每个位置，并且每个位置的操作是相同的。该网络包含两个线性变换，并在中间使用 ReLU 激活函数。
在不同位置之间，线性变换相同，但从一层到另一层使用不同的参数。另一种描述这一点的方式是两个卷积，核大小为 1。输入和输出的维度为
3.4 嵌入和 Softmax
与其他序列转导模型类似，我们使用学习到的嵌入来将输入标记和输出标记转换为
3.5 位置编码
由于我们的模型不包含任何重复和卷积，为了使模型利用序列的顺序，我们必须注入一些关于序列的相对或绝对位置的信息
表 1：不同层类型的最大路径长度、每层复杂度和最小顺序操作数量。
| Layer Type | 每层的复杂性 |
|
最大路径长度 | ||
| Self-Attention |
|
|
|
||
| Recurrent |
|
|
|
||
| Convolutional |
|
|
|
||
自注意力（受限） |
|
|
|
序列中的令牌。为此，我们在编码器和解码器堆栈的底部添加了“位置编码”到输入嵌入中。位置编码与嵌入具有相同的维度
在这个工作中，我们使用不同频率的正弦和余弦函数：
其中 pos 是位置，
我们还尝试使用学习的位置嵌入[9]，发现两个版本产生的结果几乎相同（见表 3 行（E））。我们选择了正弦版本，因为它可能使模型能够推广到比训练过程中遇到的序列长度更长的情况。
4 自注意力的原因
在本节中，我们将自注意力层的各个方面与常用于将一个变长符号表示序列
其一是每层的总计算复杂度。另一方面是可以并行计算的量，由最少需要的顺序操作数量来衡量。
第三个是网络中长程依赖之间的路径长度。学习长程依赖是许多序列转换任务中的一个关键挑战。影响学习这类依赖能力的一个关键因素是信号在网络中前向和后向传递所需经过的路径长度。在输入和输出序列的任意位置之间的这些路径越短，学习长程依赖就越容易[12]。因此，我们还比较了由不同层类型组成的网络中任意两个输入和输出位置之间的最大路径长度。
如表 1 所示，自注意力层将所有位置连接起来，执行固定数量的顺序操作，而循环层需要
围绕各自的输出位置。这将增加最大路径长度到
一个宽度为
作为一个附带的好处，自注意力可以产生更具可解释性的模型。我们检查了我们模型的注意力分布，并在附录中呈现和讨论示例。不仅个别注意力头明显学会执行不同的任务，许多似乎表现出与句子的句法和语义结构相关的行为。
5 训练
本节描述了我们模型的训练制度。
5.1 训练数据和分批处理
我们在标准的 WMT 2014 英德数据集上进行了训练，该数据集包含约 450 万个句子对。 句子使用字节对编码[3]进行编码，其具有约 37000 个令牌的共享源目标词汇。 对于英法语，我们使用了大得多的 WMT 2014 英法数据集，其中包含 36M 句子，并将令牌拆分为一个 32000 个词汇量的词块。 句子对按近似序列长度分组在一起。 每个训练批次包含一组包含大约 25000 个源令牌和 25000 个目标令牌的句子对。
5.2 硬件和时间表
我们在一个拥有 8 个 NVIDIA P100 GPU 的计算机上训练了我们的模型。对于我们的基础模型，使用了整篇论文中描述的超参数，每个训练步骤需要大约 0.4 秒。我们将基础模型训练了总共 100,000 步，或者 12 小时。对于我们的大型模型（在表 3 的最后一行有描述），步骤时间为 1.0 秒。大型模型进行了 300,000 步训练（3.5 天）。
5.3 优化器
我们使用了 Adam 优化器[20]，设置了学习率为
这相当于在前 warmup_steps 训练步骤中线性增加学习率，然后在之后的步骤中按步数的倒数平方根成比例减少。我们使用了 warmup_steps
5.4 正则化
我们在训练过程中使用三种类型的正则化：
残差丢弃：我们在每个子层的输出之前应用丢弃[33]，然后将其添加到子层的输入并进行归一化。此外，我们还在编码器和解码器堆栈中的嵌入和位置编码的总和上应用丢弃。对于基础模型，我们使用速率为
表 2：Transformer 在英语到德语和英语到法语 newstest2014 测试中取得比以往最先进模型更好的 BLEU 分数，且训练成本仅为一小部分。
| Model | BLEU | 训练成本（FLOPs） | |||
| EN-DE | EN-FR | EN-DE | EN-FR | ||
| ByteNet [18] | 23.75 | ||||
深度注意力 + PosUnk [39] |
39.2 |
|
|||
| GNMT + RL [38] | 24.6 | 39.92 |
|
|
|
| ConvS2S [9] | 25.16 | 40.46 |
|
|
|
| MoE [32] | 26.03 | 40.56 |
|
|
|
深度注意力 + 位置未知合集 [39] |
40.4 |
|
|||
GNMT + RL 合集 [38] |
26.30 | 41.16 |
|
|
|
| ConvS2S 集合[9] | 26.36 |
|
|
|
|
Transformer（基础模型） |
27.3 | 38.1 |
|
||
| Transformer（大型） |
|
|
|
||
在训练过程中，我们采用了值为
6 结果
6.1 机器翻译
在 WMT 2014 英语到德语翻译任务中，大型变压器模型（表 2 中的 Transformer（big））的表现优于先前报告的最佳模型（包括集成模型）超过 2.0 BLEU，建立了新的最先进的 BLEU 得分 28.4。该模型的配置列在表 3 的底部行中。在 8 个 P100 GPU 上训练耗时 3.5 天。即使是我们的基础模型也超过了以前发布的所有模型和集成模型，而训练成本只是任何竞争模型的一小部分。
在 WMT 2014 年的英法翻译任务中，我们的大模型取得了 41.0 的 BLEU 分数，超越了之前所有已发布的单一模型，在比之前最先进模型的训练成本少于
对于基础模型，我们使用了通过对最近的 5 个检查点取平均得到的单个模型，这些检查点每 10 分钟写入一次。对于大模型，我们取最近的 20 个检查点的平均值。我们使用了带有大小为 4 的波束搜索和长度惩罚
表 2 总结了我们的结果，并将我们的翻译质量和训练成本与文献中其他模型架构进行了比较。我们通过将训练时间、使用的 GPU 数量和每个 GPU 的持续单精度浮点容量的估计相乘来估计训练模型所使用的浮点运算次数
6.2 模型变体
为了评估 Transformer 不同组件的重要性，我们以不同方式改变基础模型，测量在开发集 newstest2013 上英语到德语翻译性能的变化。我们使用前一节中描述的 beam search，但没有使用检查点平均。我们将这些结果呈现在表 3 中。
在表 3 的(A)行中，我们改变注意力头的数量以及注意力键和值的维度，保持计算量恒定，如第 3.2.2 节所述。虽然单头注意力比最佳设置差
表 3: Transformer 架构的变种。未列出的数值与基础模型相同。所有指标都是在英语到德语翻译的开发集 newstest2013 上计算的，列出的困惑度是每个词片段的困惑度，根据我们的字节对编码(Byte-pair encoding)计算，不应与每个词的困惑度进行比较。
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
| base | 6 | 512 | 2048 | 8 | 64 | 64 | 0.1 | 0.1 |
|
4.92 | 25.8 | 65 | ||||||||
| (A) | 1 | 512 | 512 | 5.29 | 24.9 | |||||||||||||||
| 4 | 128 | 128 | 5.00 | 25.5 | ||||||||||||||||
| 16 | 32 | 32 | 4.91 | 25.8 | ||||||||||||||||
| 32 | 16 | 16 | 5.01 | 25.4 | ||||||||||||||||
| (B) | 16 | 5.16 | 25.1 | 58 | ||||||||||||||||
| 32 | 5.01 | 25.4 | 60 | |||||||||||||||||
| (C) | 2 | 6.11 | 23.7 | 36 | ||||||||||||||||
| 4 | 5.19 | 25.3 | 50 | |||||||||||||||||
| 8 | 4.88 | 25.5 | 80 | |||||||||||||||||
| 256 | 32 | 32 | 5.75 | 24.5 | 28 | |||||||||||||||
| 1024 | 128 | 128 | 4.66 | 26.0 | 168 | |||||||||||||||
| 1024 | 5.12 | 25.4 | 53 | |||||||||||||||||
| 4096 | 4.75 | 26.2 | 90 | |||||||||||||||||
| (D) | 0.0 | 5.77 | 24.6 | |||||||||||||||||
| 0.2 | 4.95 | 25.5 | ||||||||||||||||||
| 0.0 | 4.67 | 25.3 | ||||||||||||||||||
| 0.2 | 5.47 | 25.7 | ||||||||||||||||||
| (E) | 使用位置嵌入代替正弦波 |
4.92 | 25.7 | |||||||||||||||||
| big | 6 | 1024 | 4096 | 16 | 0.3 |
|
4.33 | 26.4 | 213 | |||||||||||
表 4：Transformer 在英语成分解析中表现良好（结果在 WSJ 第 23 节中）
| Parser | Training | WSJ 23 F1 |
Vinyals＆Kaiser 等人（2014 年）[37] |
仅限 WSJ，具有区分性 |
88.3 |
Petrov 等（2006）[29] |
仅限 WSJ，具有区分性 |
90.4 |
朱等人（2013）[40] |
仅限 WSJ，具有区分性 |
90.4 |
2016 年的 Dyer 等人[8] |
仅限 WSJ，具有区分性 |
91.7 |
| 变压器（4 层） | 仅限 WSJ，具有区分性 |
91.3 |
朱等人（2013）[40] |
semi-supervised | 91.3 |
黄和哈珀（2009）[14] |
semi-supervised | 91.3 |
McClosky 等人（2006 年）[26] |
semi-supervised | 92.1 |
Vinyals＆Kaiser 等人（2014 年）[37] |
semi-supervised | 92.1 |
| 变压器（4 层） | semi-supervised | 92.7 |
2015 年的 Luong 等人[23] |
multi-task | 93.0 |
2016 年的 Dyer 等人[8] |
generative | 93.3 |
在表 3 行（B）中，我们观察到减小注意力键大小
6.3 英语成分句法分析
为了评估 Transformer 是否能够推广到其他任务，我们在英语成分解析上进行了实验。这项任务提出了特定的挑战：输出受到强烈的结构约束，并且明显比输入更长。此外，在小数据情况下，RNN 序列到序列模型尚未能够达到最先进的结果[37]。
注意力函数可以被描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量。输出被计算为值的加权和，其中分配给每个值的权重由查询与相应键的兼容性函数计算得出。
我们使用 Penn Treebank 的《华尔街日报》(WSJ) 部分进行了一个包含
我们仅进行了少量实验来选择辍学、关注和剩余（第 5.4 节）、学习速率和束尺寸,在第 22 节的发展集上,所有其他参数均未从英语到德语基础翻译模型进行更改。在推理过程中,我们将最大输出长度增加到输入长度+300。我们在 WSJ 和半监督设置中都使用了 21 的束尺寸和
我们在表格 4 中的结果显示，尽管缺乏任务特定的调整，我们的模型表现出色，比之前所有报告过的模型都要好，除了循环神经网络语法 [8]。
与 RNN 序列到序列模型 [37] 相比，即使仅在 WSJ 训练集的
7 结论
在这项工作中，我们提出了 Transformer，这是第一个完全基于注意力的序列转换模型，用多头自注意力替换了编码器-解码器架构中最常用的循环层。
对于翻译任务，变压器的训练速度可以比基于循环或卷积层的架构快得多。在 WMT 2014 英语到德语和 WMT 2014 英语到法语翻译任务中，我们取得了新的最先进技术。在前一项任务中，我们的最佳模型甚至优于先前报告的所有整体模型。
我们对基于注意力的模型的未来充满期待，并计划将它们应用到其他任务中。我们计划将 Transformer 扩展到涉及文本以外的输入和输出模态的问题，并研究局部的、受限制的注意力机制，以有效处理诸如图像、音频和视频等大输入和输出。让生成变得不那么顺序化是我们的另一个研究目标。
我们用于训练和评估模型的代码可在 https://github.com/tensorflow/tensor2tensor 上获得。
感谢 我们感谢 Nal Kalchbrenner 和 Stephan Gouws 对于他们的有益评论，纠正和启发。
参考文献
[1] Jimmy Lei Ba, Jamie Ryan Kiros, 和 Geoffrey E Hinton. 层归一化. arXiv 预印本 arXiv:1607.06450, 2016.
[2] Dzmitry Bahdanau, Kyunghyun Cho 和 Yoshua Bengio. 通过共同学习对齐和翻译进行神经机器翻译。CoRR, abs/1409.0473, 2014.
[3] Denny Britz, Anna Goldie, Minh-Thang Luong, 和 Quoc V. Le. 神经机器翻译架构的大规模探索. CoRR, abs/1703.03906, 2017.
[4] Jianpeng Cheng, Li Dong 和 Mirella Lapata。用于机器阅读的长短期记忆网络。arXiv 预印本 arXiv:1601.06733，2016 年。
[5] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Fethi Bougares, Holger Schwenk 和 Yoshua Bengio。使用 rnn 编码器-解码器学习短语表示以进行统计机器翻译。CoRR，abs/1406.1078，2014 年。
[6] Francois Chollet. Xception: 使用深度可分离卷积进行深度学习。arXiv 预印本 arXiv:1610.02357，2016。
【7】Junyoung Chung，Çaglar Gülçehre，Kyunghyun Cho 和 Yoshua Bengio。对序列模型上的门控循环神经网络的实证评估。CoRR，abs/1412.3555，2014 年。
[8] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, 和 Noah A. Smith. 循环神经网络语法. 在 NAACL 会议论文集中, 2016.
[9] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, 和 Yann N. Dauphin. 卷积序列到序列学习. arXiv 预印本 arXiv:1705.03122v2, 2017.
[10] Alex Graves. 用循环神经网络生成序列。arXiv 预印本 arXiv:1308.0850，2013 年。
[11] Kaiming He, Xiangyu Zhang, Shaoqing Ren 和 Jian Sun。深度残差学习用于图像识别。在 IEEE 计算机视觉与模式识别会议论文集中，页码 770-778，2016 年。
[12] Sepp Hochreiter, Yoshua Bengio, Paolo Frasconi, and Jürgen Schmidhuber. "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies," 2001.
[13] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735-1780, 1997.
[14] 黄中强和玛丽·哈珀。 跨语言具有潜在注释的自我训练 PCFG 语法。 在 2009 年自然语言处理经验方法会议论文集中，页码 832-841。 ACL，2009 年 8 月。
\[15\] Rafal Jozefowicz，Oriol Vinyals，Mike Schuster，Noam Shazeer 和 Yonghui Wu．探索语言模型的极限．arXiv 预印本 arXiv:1602.02410，2016 年．
[16] Łukasz Kaiser 和 Samy Bengio。在 2016 年神经信息处理系统（NIPS）中可以活动记忆取代注意力吗？
[17] Łukasz Kaiser 和 Ilya Sutskever。神经 GPU 学习算法。在 2016 年国际学习表示会议（ICLR）中。
[18] Nal Kalchbrenner, Lasse Espeholt, Karen Simonyan, Aaron van den Oord, Alex Graves, and Koray Kavukcuoglu. Neural machine translation in linear time. arXiv preprint
[19] Yoon Kim，Carl Denton，Luong Hoang 和 Alexander M. Rush。结构化注意力网络。在国际学习表示会议上，2017 年。
Diederik Kingma和Jimmy Ba。Adam：一种用于随机优化的方法。在ICLR，2015年。
[21] Oleksii Kuchaiev 和 Boris Ginsburg。LSTM 网络的分解技巧。arXiv 预印本 arXiv:1703.10722，2017 年。
[22] 周涵琳，冯敏蔚，西塞罗·诺盖拉·多斯桑托斯，俞默，项冰，周博文和约书亚·本吉奥。一种结构化自我关注句子嵌入。arXiv 预印本 arXiv:1703.03130，2017 年。
[23] Minh-Thang Luong，Quoc V. Le，Ilya Sutskever，Oriol Vinyals 和 Lukasz Kaiser。多任务序列到序列学习。arXiv 预印本 arXiv：1511.06114，2015 年。
[24] 杨明湘，范曦，克里斯托弗·D·曼宁。基于注意力的神经机器翻译的有效方法。arXiv 预印本 arXiv:1508.04025，2015 年。
[25] Mitchell P Marcus，Mary Ann Marcinkiewicz 和 Beatrice Santorini。构建一个大型英语注释语料库：宾树库。计算语言学，19(2)：313-330，1993。
[26] David McClosky, Eugene Charniak, 和 Mark Johnson. 有效的自我训练用于解析。在 NAACL 人类语言技术会议的论文集，主会议，第 152-159 页。ACL，2006 年 6 月。
[27] Ankur Parikh，Oscar Täckström，Dipanjan Das 和 Jakob Uszkoreit。可分解的注意力模型。在自然语言处理的经验方法中，2016 年。
[28] Romain Paulus, Caiming Xiong 和 Richard Socher. 一种用于抽象摘要的深度强化模型. arXiv 预印本 arXiv:1705.04304, 2017.
[29] Slav Petrov, Leon Barrett, Romain Thibaux 和 Dan Klein. 学习准确、紧凑和可解释的树注释。在第 21 届国际计算语言学会议和 ACL 第 44 届年会论文集中，页码 433-440。ACL，2006 年 7 月。
[30] Ofir Press 和 Lior Wolf。使用输出嵌入来改进语言模型。arXiv 预印本 arXiv:1608.05859，2016 年。
[31] Rico Sennrich, Barry Haddow, 和 Alexandra Birch。使用子词单元进行稀有词的神经机器翻译。arXiv 预印本 arXiv:1508.07909，2015 年。
[32] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, 和 Jeff Dean。非常庞大的神经网络：稀疏门控专家混合层。arXiv 预印本 arXiv:1701.06538，2017 年。
[33] Nitish Srivastava, Geoffrey E Hinton, Alex Krizhevsky, Ilya Sutskever, 和 Ruslan Salakhutdinov。Dropout: 一种防止神经网络过拟合的简单方法。机器学习研究杂志，15(1)：1929-1958，2014 年。
[34] Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston 和 Rob Fergus. 端到端记忆网络. 在 C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama 和 R. Garnett 编辑的 Advances in Neural Information Processing Systems 28 中，页码 2440-2448. Curran Associates, Inc., 2015.
[35] Ilya Sutskever, Oriol Vinyals 和 Quoc VV Le。 序列到序列学习与神经网络。 在神经信息处理系统的进展中，2014 年，页码 3104-3112。
【36】Christian Szegedy，Vincent Vanhoucke，Sergey Ioffe，Jonathon Shlens 和 Zbigniew Wojna。重新思考计算机视觉中的启发式架构。CoRR，abs/1512.00567，2015 年。
[37] Vinyals & Kaiser，Koo，Petrov，Sutskever 和 Hinton. 语法作为一门外语。 在 2015 年的神经信息处理系统进展中。
[38] Yonghui Wu，Mike Schuster，Zhifeng Chen，Quoc V Le，Mohammad Norouzi，Wolfgang Macherey，Maxim Krikun，Yuan Cao，Qin Gao，Klaus Macherey 等。Google 的神经机器翻译系统：弥合人类和机器翻译之间的差距。arXiv 预印本 arXiv:1609.08144，2016 年。
[39] 周杰，曹颖，王旭光，李鹏和徐伟。深度循环模型与快速前向连接用于神经机器翻译。CoRR，abs/1606.04199，2016 年。
[40] 朱木华，张越，陈文亮，张敏和朱静波。快速准确的移位缩小成分解析。在 ACL 第 51 届年会论文集(第 1 卷: 长篇论文)中，页码 434-443。ACL，2013 年 8 月。
注意力可视化
图 3：编码器自注意力中遵循远距依赖的注意力机制示例，在第 6 层的第 5 层。许多注意力头关注动词“making”的远程依赖，完成短语“making...更困难”。此处仅展示单词“making”的关注。不同的颜色代表不同的头。最好以彩色查看。
图 4：两个注意力头，也在 6 层中的第 5 层，显然参与了指代消解。上：头部 5 的全部注意力。下：仅针对单词' its '的注意力头 5 和 6 的孤立关注。请注意，对于这个单词，注意力非常集中。
图 5：许多注意力头表现出与句子结构相关的行为。上面给出了两个例子，分别来自编码器自注意力的第 5 层中的两个不同头部。这些头部明显学会了执行不同的任务。
*平等贡献。列出的顺序是随机的。雅各布建议用自注意力替换循环神经网络，并开始评估这个想法。阿希什和伊利亚设计并实现了第一个 Transformer 模型，并在这项工作的各个方面发挥了关键作用。诺姆提出了缩放的点积注意力、多头注意力和无参数位置表示，并成为几乎涉及每个细节的其他关键人物。尼基在我们的原始代码库和 tensortensor 中设计、实现、调整和评估了无数的模型变体。利昂还尝试了新颖的模型变体，负责我们的初始代码库以及高效的推理和可视化。卢卡什和艾丹花费了无数的漫长日子设计 tensortensor 的各个部分，并实现了它们，替换了我们早期的代码库，极大地改进了结果，并极大地加速了我们的研究。
在 Google Brain 工作期间执行的工作。
在 Google Research 工作期间执行的工作。
为了说明为什么点积会变大，假设和 的分量是独立的随机变量，其均值为 0，方差为 1。那么它们的点积 的均值为 0，方差为 。
我们使用了 K80、K40、M40 和 P100 的 TFLOPS 值分别为 2.8、3.7、6.0 和 9.5。