Introduction to Transformers: an NLP Perspective
引言：从自然语言处理角度谈 Transformer

Figure 1 shows the standard Transformer model which follows the general encoder-decoder framework. A Transformer encoder comprises a number of stacked encoding layers (or encoding blocks). Each encoding layer has two different sub-layers (or sub-blocks), called the self-attention sub-layer and the feed-forward neural network (FFN) sub-layer. Suppose we have a source-side sequence $\mathbf{x}=x_{1}...x_{m}$ and a target-side sequence $\mathbf{y}=y_{1}...y_{n}$. The input of an encoding layer is a sequence of $m$ vectors $\mathbf{h}_{1}...\mathbf{h}_{m}$, each having $d_{\mathrm{model}}$ dimensions (or $d$ dimensions for simplicity). We follow the notation adopted in the previous chapters, using $\mathbf{H}\in\mathbb{R}^{m\times d}$ to denote these input vectors¹¹1Provided $\mathbf{h}_{j}\in\mathbb{R}^{d}$ is a row vector, we have $\mathbf{H}=\begin{bmatrix}\mathbf{h}_{1}\\ \vdots\\ \mathbf{h}_{m}\end{bmatrix}$.. The self-attention sub-layer first performs a self-attention operation $\mathrm{Att}_{\mathrm{self}}(\cdot)$ on $\mathbf{H}$ to generate an output $\mathbf{C}$:
图 1 展示了遵循通用编码器-解码器框架的标准 Transformer 模型。一个 Transformer 编码器由多个堆叠的编码层（或编码块）组成。每个编码层有两个不同的子层（或子块），称为自注意力子层和前馈神经网络（FFN）子层。假设我们有一个源序列 $\mathbf{x}=x_{1}...x_{m}$ 和一个目标序列 $\mathbf{y}=y_{1}...y_{n}$ 。编码层的输入是一个序列的 $m$ 向量 $\mathbf{h}_{1}...\mathbf{h}_{m}$ ，每个向量具有 $d_{\mathrm{model}}$ 维度（或为了简化， $d$ 维度）。我们遵循前几章采用的符号，用 $\mathbf{H}\in\mathbb{R}^{m\times d}$ 表示这些输入向量 ¹ 。自注意力子层首先对 $\mathbf{H}$ 执行自注意力操作 $\mathrm{Att}_{\mathrm{self}}(\cdot)$ ，以生成输出 $\mathbf{C}$ ：

Here $\mathbf{C}$ is of the same size as $\mathbf{H}$, and can thus be viewed as a new representation of the inputs. Then, a residual connection and a layer normalization unit are added to the output so that the resulting model is easier to optimize.
这里 $\mathbf{C}$ 与 $\mathbf{H}$ 大小相同，因此可以视为输入的新表示。然后，在输出中添加了残差连接和层归一化单元，使得得到的模型更容易优化。

where the addition of $\mathbf{H}$ denotes the residual connection (He et al., 2016a), and $\mathrm{LNorm}(\cdot)$ denotes the layer normalization function (Ba et al., 2016). Substituting Eq. (1) into Eq. (2), we obtain the form of the self-attention sub-layer
在式中， $\mathbf{H}$ 表示残差连接（He 等，2016a）， $\mathrm{LNorm}(\cdot)$ 表示层归一化函数（Ba 等，2016）。将式（1）代入式（2），我们得到自注意力子层的表达式

The definitions of $\mathrm{LNorm}(\cdot)$ and $\mathrm{Att}_{\mathrm{self}}(\cdot)$ will be given later in this section.
该节中将给出 $\mathrm{LNorm}(\cdot)$ 和 $\mathrm{Att}_{\mathrm{self}}(\cdot)$ 的定义。

Here $\mathrm{FFN}(\cdot)$ could be any feed-forward neural networks with non-linear activation functions. The most common structure of $\mathrm{FFN}(\cdot)$ is a two-layer network involving two linear transformations and a ReLU activation function between them.
这里 $\mathrm{FFN}(\cdot)$ 可以是具有非线性激活函数的任何前馈神经网络。 $\mathrm{FFN}(\cdot)$ 最常见结构是一个包含两个线性变换和它们之间一个 ReLU 激活函数的两层网络。

If there are $L$ encoding layers, then $\mathbf{H}^{L}$ will be the output of the encoder. In this case, $\mathbf{H}^{L}$ can be viewed as a representation of the input sequence that is learned by the Transformer encoder. $\mathbf{H}^{0}$ denotes the input of the encoder. In recurrent and convolutional models, $\mathbf{H}^{0}$ can simply be word embeddings of the input sequence. Transformer takes a different way of representing the input words , and encodes the positional information explicitly. In Section 2.2 we will discuss the embedding model used in Transformers.
如果有 $L$ 个编码层，那么 $\mathbf{H}^{L}$ 将是编码器的输出。在这种情况下， $\mathbf{H}^{L}$ 可以被视为 Transformer 编码器学习到的输入序列的表示。 $\mathbf{H}^{0}$ 表示编码器的输入。在循环和卷积模型中， $\mathbf{H}^{0}$ 可以简单地是输入序列的词嵌入。Transformer 采用不同的方式表示输入单词，并显式地编码位置信息。在第 2.2 节中，我们将讨论 Transformer 中使用的嵌入模型。

Here there are three decoder sub-layers. The self-attention and FFN sub-layers are the same as those used in the encoder. $\mathrm{Layer}_{\mathrm{cross}}(\cdot)$ denotes a cross attention sub-layer (or encoder-decoder sub-layer) which models the transformation from the source-side to the target-side. In Section 2.6 we will see that $\mathrm{Layer}_{\mathrm{cross}}(\cdot)$ can be implemented using the same function as $\mathrm{Layer}_{\mathrm{self}}(\cdot)$.
这里有三个解码子层。自注意力子层和 FFN 子层与编码器中使用的相同。 $\mathrm{Layer}_{\mathrm{cross}}(\cdot)$ 表示一个交叉注意力子层（或编码器-解码器子层），它模拟了从源端到目标端的转换。在第 2.6 节中，我们将看到 $\mathrm{Layer}_{\mathrm{cross}}(\cdot)$ 可以使用与 $\mathrm{Layer}_{\mathrm{self}}(\cdot)$ 相同的函数来实现。

where $\mathbf{W}_{\mathrm{o}}\in\mathbb{R}^{d\times|V_{\mathrm{y}}|}$ is the parameter matrix of the linear transformation.
$\mathbf{W}_{\mathrm{o}}\in\mathbb{R}^{d\times|V_{\mathrm{y}}|}$ 是线性变换的参数矩阵。

where $\mathbf{o}_{i}$ denotes the $i$-th row vector of $\mathbf{O}$, and $y_{0}$ denotes the start symbol $\langle\mathrm{SOS}\rangle$. Under this model, the probability of $\mathbf{x}$ given $\mathbf{y}$ can be defined as usual,
在本文中， $\mathbf{o}_{i}$ 表示 $\mathbf{O}$ 的第 $i$ 个行向量，而 $y_{0}$ 表示起始符号 $\langle\mathrm{SOS}\rangle$ 。在此模型下，给定 $\mathbf{y}$ 的 $\mathbf{x}$ 的概率可以按常规定义，

In their original form, both FFNs and attention models used in Transformer ignore an important property of sequence modeling, which is that the order of the words plays a crucial role in expressing the meaning of a sequence. This means that the encoder and decoder are insensitive to the positional information of the input words. A simple approach to overcoming this problem is to add positional encoding to the representation of each word of the sequence. More formally, a word $x_{j}$ can be represented as a $d$-dimensional vector
在它们原始形式中，Transformer 中使用的 FFN 和注意力模型都忽略了一个重要的序列建模属性，即单词的顺序在表达序列意义中起着至关重要的作用。这意味着编码器和解码器对输入单词的位置信息不敏感。克服这个问题的简单方法是为序列中每个单词的表示添加位置编码。更正式地说，单词 $x_{j}$ 可以表示为一个 $d$ 维向量

Here $\mathbf{x}_{j}\in\mathbb{R}^{d}$ is the embedding of the word which can be obtained by using the word embedding models. $\mathrm{PE}(j)\in\mathbb{R}^{d}$ is the representation of the position $j$. Vanilla Transformer employs the sinusoidal positional encoding models which we write in the form
这里 $\mathbf{x}_{j}\in\mathbb{R}^{d}$ 是单词的嵌入，可以通过使用单词嵌入模型获得。 $\mathrm{PE}(j)\in\mathbb{R}^{d}$ 是位置 $j$ 的表示。Vanilla Transformer 采用正弦位置编码模型，我们将其写成以下形式

where $\mathrm{PE}(i,k)$ denotes the $k$-th entry of $\mathrm{PE}(i)$. The idea of positional encoding is to distinguish different positions using continuous systems. Here we use the sine and cosine functions with different frequencies. The interested reader can refer to Appendix A to see that such a method can be interpreted as a carrying system. Because the encoding is based on individual positions, it is also called absolute positional encoding. In Section 4.1 we will see an improvement to this method.
$\mathrm{PE}(i,k)$ 表示 $\mathrm{PE}(i)$ 中的第 $k$ 个条目。位置编码的思路是使用连续系统来区分不同的位置。在这里，我们使用不同频率的正弦和余弦函数。感兴趣的读者可以参考附录 A，以了解这种方法可以解释为一种携带系统。因为编码基于单个位置，所以它也被称为绝对位置编码。在第 4.1 节中，我们将看到对这种方法的一种改进。

Similarly, we can also define the input on the decoder side.
同样，我们也可以在解码器端定义输入。

The use of self-attention is perhaps one of the most significant advances in sequence-to-sequence models. It attempts to learn and make use of direct interactions between each pair of inputs. From a representation learning perspective, self-attention models assume that the learned representation at position $i$ (denoted by $\mathbf{c}_{i}$) is a weighted sum of the inputs over the sequence. The output $\mathbf{c}_{i}$ is thus given by
自我注意力的使用可能是序列到序列模型中最重大的进展之一。它试图学习和利用每对输入之间的直接交互。从表示学习角度来看，自我注意力模型假设在位置 $i$ （用 $\mathbf{c}_{i}$ 表示）学习到的表示是序列中输入的加权和。因此，输出 $\mathbf{c}_{i}$ 由以下公式给出

where $\alpha_{i,j}$ indicates how strong the input $\mathbf{h}_{i}$ is correlated with the input $\mathbf{h}_{j}$. We thus can view $\mathbf{c}_{i}$ as a representation of the global context at position $i$. $\alpha_{i,j}$ can be defined in different ways if one considers different attention models. Here we use the scaled dot-product attention function to compute $\alpha_{i,j}$, as follows
$\alpha_{i,j}$ 表示输入 $\mathbf{h}_{i}$ 与输入 $\mathbf{h}_{j}$ 之间的相关性强度。因此，我们可以将 $\mathbf{c}_{i}$ 视为位置 $i$ 的全局上下文表示。如果考虑不同的注意力模型， $\alpha_{i,j}$ 可以有不同的定义方式。在这里，我们使用缩放点积注意力函数来计算 $\alpha_{i,j}$ ，如下所示：

where $\beta$ is a scaling factor and is set to $\sqrt{d}$.
$\beta$ 是一个缩放因子，并设置为 $\sqrt{d}$ 。

where $\mathbf{W}^{q},\mathbf{W}^{k},\mathbf{W}^{v}\in\mathbb{R}^{d\times d}$ represents linear transformations of $\mathbf{H}$.
$\mathbf{W}^{q},\mathbf{W}^{k},\mathbf{W}^{v}\in\mathbb{R}^{d\times d}$ 表示 $\mathbf{H}$ 的线性变换。

Here $\mathrm{Softmax}(\frac{\mathbf{H}^{q}[\mathbf{H}^{k}]^{\mathrm{T}}}{\sqrt{d}})$ is an $m\times m$ matrix in which each row represents a distribution over $\{\mathbf{h}_{1},...,\mathbf{h}_{m}\}$, that is
这里 $\mathrm{Softmax}(\frac{\mathbf{H}^{q}[\mathbf{H}^{k}]^{\mathrm{T}}}{\sqrt{d}})$ 是一个 $m\times m$ 矩阵，其中每一行代表一个关于 $\{\mathbf{h}_{1},...,\mathbf{h}_{m}\}$ 的分布，即

For each head $h$,
对于每个头 $h$ ，

Here $\mathrm{Merge}(\cdot)$ is the concatenation function, and $\mathrm{Att}_{\mathrm{QKV}}(\cdot)$ is the attention function described in Eq. (20). $\mathbf{W}_{h}^{q},\mathbf{W}_{h}^{k},\mathbf{W}_{h}^{v}\in\mathbb{R}^{d\times\frac{d}{\tau}}$ are the parameters of the projections from a $d$-dimensional space to a $\frac{d}{\tau}$-dimensional space for the queries, keys, and values. Thus, $\mathbf{H}_{h}^{q}$, $\mathbf{H}_{h}^{k}$, $\mathbf{H}_{h}^{v}$, and $\mathbf{C}_{h}^{\mathrm{head}}$ are all $m\times\frac{d}{\tau}$ matrices. $\mathrm{Merge}(\mathbf{C}_{1}^{\mathrm{head}},...,\mathbf{C}_{\tau}^{\mathrm{head}})$ produces an $m\times d$ matrix. It is then transformed by a linear mapping $\mathbf{W}_{c}\in\mathbb{R}^{d\times d}$, leading to the final result $\mathbf{C}\in\mathbb{R}^{d\times d}$.
这里 $\mathrm{Merge}(\cdot)$ 是拼接函数， $\mathrm{Att}_{\mathrm{QKV}}(\cdot)$ 是方程（20）中描述的注意力函数。 $\mathbf{W}_{h}^{q},\mathbf{W}_{h}^{k},\mathbf{W}_{h}^{v}\in\mathbb{R}^{d\times\frac{d}{\tau}}$ 是从一个 $d$ 维空间到 $\frac{d}{\tau}$ 维空间的查询、键和值的投影参数。因此， $\mathbf{H}_{h}^{q}$ 、 $\mathbf{H}_{h}^{k}$ 、 $\mathbf{H}_{h}^{v}$ 和 $\mathbf{C}_{h}^{\mathrm{head}}$ 都是 $m\times\frac{d}{\tau}$ 矩阵。 $\mathrm{Merge}(\mathbf{C}_{1}^{\mathrm{head}},...,\mathbf{C}_{\tau}^{\mathrm{head}})$ 产生一个 $m\times d$ 矩阵。然后通过线性映射 $\mathbf{W}_{c}\in\mathbb{R}^{d\times d}$ 进行变换，得到最终结果 $\mathbf{C}\in\mathbb{R}^{d\times d}$ 。

Layer normalization provides a simple and effective means to make the training of neural networks more stable by standardizing the activations of the hidden layers in a layer-wise manner. As introduced in Ba et al. (2016)’s work, given a layer’s output $\mathbf{h}\in\mathbb{R}^{d}$, the layer normalization method computes a standardized output $\mathrm{LNorm}(\mathbf{h})\in\mathbb{R}^{d}$ by
层归一化提供了一种简单有效的方法，通过层状标准化隐藏层的激活，使神经网络的训练更加稳定。正如 Ba 等人（2016）的研究中所述，给定一个层的输出 $\mathbf{h}\in\mathbb{R}^{d}$ ，层归一化方法通过计算标准化输出 $\mathrm{LNorm}(\mathbf{h})\in\mathbb{R}^{d}$ 来实现。

Here $\mathbf{\mu}\in\mathbb{R}^{d}$ and $\sigma\in\mathbb{R}^{d}$ are the mean and standard derivation of the activations. Let $h_{k}$ be the $k$-th dimension of $\mathbf{h}$. $\mathbf{\mu}$ and $\sigma$ are given by
这里 $\mathbf{\mu}\in\mathbb{R}^{d}$ 和 $\sigma\in\mathbb{R}^{d}$ 分别是激活的平均值和标准差。令 $h_{k}$ 为 $\mathbf{h}$ 的第 $k$ 维。 $\mathbf{\mu}$ 和 $\sigma$ 由以下给出

Here $\mathbf{g}\in\mathbb{R}^{d}$ and $\mathbf{b}\in\mathbb{R}^{d}$ are the rescaling and bias terms. They can be treated as parameters of layer normalization, whose values are to be learned together with other parameters of the Transformer model. The addition of $\epsilon$ to $\sigma$ is used for the purpose of numerical stability. In general, $\epsilon$ is chosen to be a small number.
这里 $\mathbf{g}\in\mathbb{R}^{d}$ 和 $\mathbf{b}\in\mathbb{R}^{d}$ 是缩放和偏差项。它们可以被视为层归一化的参数，其值需要与其他 Transformer 模型的参数一起学习。将 $\epsilon$ 添加到 $\sigma$ 中是为了提高数值稳定性。一般来说， $\epsilon$ 被选为一个较小的数。

where $\mathbf{H}_{\mathrm{in}}$ and $\mathbf{H}_{\mathrm{output}}$ are the input and output of this model. Clearly, Eq. (4) is an instance of this equation.
$\mathbf{H}_{\mathrm{in}}$ 和 $\mathbf{H}_{\mathrm{output}}$ 分别是该模型的输入和输出。显然，式(4)是该方程的一个实例。

The use of FFNs in Transformer is inspired in part by the fact that complex outputs can be formed by transforming the inputs through nonlinearities. While the self-attention model itself has some nonlinearity (in $\mathrm{Softmax}(\cdot)$), a more common way to do this is to consider additional layers with non-linear activation functions and linear transformations. Given an input $\mathbf{H}_{\mathrm{in}}\in\mathbb{R}^{m\times d}$ and an output $\mathbf{H}_{\mathrm{out}}\in\mathbb{R}^{m\times d}$, the $\mathbf{H}_{\mathrm{out}}=\mathrm{FFN}(\mathbf{H}_{\mathrm{in}})$ function in Transformer has the following form
FFN 在 Transformer 中的应用部分受到以下事实的启发：通过非线性变换输入可以形成复杂的输出。虽然自注意力模型本身具有一定的非线性（在 $\mathrm{Softmax}(\cdot)$ 中），但更常见的方法是考虑具有非线性激活函数和线性变换的额外层。给定输入 $\mathbf{H}_{\mathrm{in}}\in\mathbb{R}^{m\times d}$ 和输出 $\mathbf{H}_{\mathrm{out}}\in\mathbb{R}^{m\times d}$ ，Transformer 中的 $\mathbf{H}_{\mathrm{out}}=\mathrm{FFN}(\mathbf{H}_{\mathrm{in}})$ 函数具有以下形式

where $\mathbf{H}_{\mathrm{hidden}}\in\mathbb{R}^{m\times d_{\mathrm{ffn}}}$ is the hidden states, and $\mathbf{W}_{h}\in\mathbb{R}^{d\times d_{\mathrm{ffn}}}$, $\mathbf{b}_{h}\in\mathbb{R}^{d_{\mathrm{ffn}}}$, $\mathbf{W}_{f}\in\mathbb{R}^{d_{\mathrm{ffn}}\times d}$ and $\mathbf{b}_{f}\in\mathbb{R}^{d}$ are the parameters. This is a two-layer FFN in which the first layer (or hidden layer) introduces a nonlinearity through $\mathrm{ReLU}(\cdot)$²²2$\mathrm{ReLU}(x)=\max\{0,x\}$. and the second layer involves only a linear transformation. It is common practice in Transformer to use a larger size of the hidden layer. For example, a common choice is $d_{\mathrm{ffn}}=4d$, that is, the size of each hidden representation is 4 times as large as the input.
$\mathbf{H}_{\mathrm{hidden}}\in\mathbb{R}^{m\times d_{\mathrm{ffn}}}$ 是隐藏状态，而 $\mathbf{W}_{h}\in\mathbb{R}^{d\times d_{\mathrm{ffn}}}$ 、 $\mathbf{b}_{h}\in\mathbb{R}^{d_{\mathrm{ffn}}}$ 、 $\mathbf{W}_{f}\in\mathbb{R}^{d_{\mathrm{ffn}}\times d}$ 和 $\mathbf{b}_{f}\in\mathbb{R}^{d}$ 是参数。这是一个两层前馈神经网络（FFN），其中第一层（或隐藏层）通过 $\mathrm{ReLU}(\cdot)$ 、 ² 引入非线性，第二层只涉及线性变换。在 Transformer 中，使用更大的隐藏层大小是一种常见做法。例如，一个常见的选择是 $d_{\mathrm{ffn}}=4d$ ，即每个隐藏表示的大小是输入的 4 倍。

A decoder layer involves two attention sub-layers, the first of which is a self-attention sub-layer, and the second is a cross-attention sub-layer. These sub-layers are based on either the post-norm or the pre-norm structure, but differ by designs of the attention functions. Consider, for example, the post-norm structure, described in Eq. (35). We can define the cross-attention and self-attention sub-layers for a decoding layer to be
解码层涉及两个注意力子层，第一个是自注意力子层，第二个是交叉注意力子层。这些子层基于后归一化或前归一化结构，但注意力函数的设计不同。以式（35）描述的后归一化结构为例，我们可以定义解码层的交叉注意力和自注意力子层为：

where $\mathbf{S}\in\mathbb{R}^{n\times d}$ is the input of the self-attention sub-layer, $\mathbf{\mathbf{S}_{\mathrm{cross}}}\in\mathbb{R}^{n\times d}$ and $\mathbf{\mathbf{S}_{\mathrm{self}}}\in\mathbb{R}^{n\times d}$ are the outputs of the sub-layers, and $\mathbf{H}_{\mathrm{enc}}\in\mathbb{R}^{m\times d}$ is the output of the encoder ³³3For an encoder having $L$ encoder layers, $\mathbf{H}_{\mathrm{enc}}=\mathbf{H}^{L}$..
$\mathbf{S}\in\mathbb{R}^{n\times d}$ 是自注意力子层的输入， $\mathbf{\mathbf{S}_{\mathrm{cross}}}\in\mathbb{R}^{n\times d}$ 和 $\mathbf{\mathbf{S}_{\mathrm{self}}}\in\mathbb{R}^{n\times d}$ 是子层的输出， $\mathbf{H}_{\mathrm{enc}}\in\mathbb{R}^{m\times d}$ 是编码器 ³ 的输出。

where $\mathbf{W}_{\mathrm{cross}}^{q},\mathbf{W}_{\mathrm{enc}}^{k},\mathbf{W}_{\mathrm{enc}}^{v}\in\mathbb{R}^{d\times d}$ are the parameters of the mappings. In other words, the queries are defined based on $\mathbf{\mathbf{S}_{\mathrm{self}}}$, and the keys and values are defined based on $\mathbf{H}_{\mathrm{enc}}$.
$\mathbf{W}_{\mathrm{cross}}^{q},\mathbf{W}_{\mathrm{enc}}^{k},\mathbf{W}_{\mathrm{enc}}^{v}\in\mathbb{R}^{d\times d}$ 是映射的参数。换句话说，查询是基于 $\mathbf{\mathbf{S}_{\mathrm{self}}}$ 定义的，而键和值是基于 $\mathbf{H}_{\mathrm{enc}}$ 定义的。

where $\mathbf{S}^{q}=\mathbf{S}\mathbf{W}_{\mathrm{dec}}^{q}$, $\mathbf{S}^{k}=\mathbf{S}\mathbf{W}_{\mathrm{dec}}^{k}$, and $\mathbf{S}^{v}=\mathbf{S}\mathbf{W}_{\mathrm{dec}}^{v}$ are linear mappings of $\mathbf{S}$ with parameters $\mathbf{W}_{\mathrm{dec}}^{q},\mathbf{W}_{\mathrm{dec}}^{k},\mathbf{W}_{\mathrm{dec}}^{v}\in\mathbb{R}^{d\times d}$.
在 $\mathbf{S}^{q}=\mathbf{S}\mathbf{W}_{\mathrm{dec}}^{q}$ 、 $\mathbf{S}^{k}=\mathbf{S}\mathbf{W}_{\mathrm{dec}}^{k}$ 和 $\mathbf{S}^{v}=\mathbf{S}\mathbf{W}_{\mathrm{dec}}^{v}$ 是 $\mathbf{S}$ 的参数为 $\mathbf{W}_{\mathrm{dec}}^{q},\mathbf{W}_{\mathrm{dec}}^{k},\mathbf{W}_{\mathrm{dec}}^{v}\in\mathbb{R}^{d\times d}$ 的线性映射。

where $M(i,k)$ indicates a bias term for the alignment score between positions $i$ and $k$. Below we show an example of how the masking variable is applied (assume $n=4$).
$M(i,k)$ 表示位置 $i$ 和 $k$ 之间对齐得分的偏差项。以下我们展示如何应用掩码变量（假设 $n=4$ ）。