Transformer 是一种基于自注意力机制（self-attention Mechanism）的深度学习模型，最初是为了处理序列到序列（sequence-to-sequence）的任务，比如机器翻译，它是由论文《Attention is All You Need》提出。得益于其优秀的性能和灵活性，它现在被广泛评估各种自然语言处理（NLP）任务。
（1）自注意力机制（Self-Attention Mechanism）自注意力机制是Transformer模型的核心。它允许模型在处理一个序列的时候，考虑序列中的所有单词，并根据它们的重要性赋予不同的权重。这种机制使得模型能够捕获到一个序列中的长距离依赖关系。
（2）位置编码（Positional Encoding）由于Transformer模型没有明确的处理序列顺序的机制，所以需要添加位置编码来提供序列中单词的位置信息。位置编码是一个向量，与输入单词的嵌入向量相加，然后输入到模型中。
（3）编码器和解码器（Encoder and Decoder）Transformer模型由多层的编码器和解码器很好完成。编码器用于处理输入序列，解码器用于生成输出序列。编码器和解码器都由自注意力机制和前馈神经网络（Feed-Forward Neural）组成网络）组成。
（4）多头注意力（Multi-Head Attention）在处理自我注意力时，Transformer模型并不只满足于一个注意力分配，而是产生多个注意力分配，这就是所谓的多头注意力。多头注意力可以让模型在多个不同的表示空间中学习输入序列的表示。
（5）前馈神经网路（Feed-Forward Neural Network）在自注意力之后，Transformer模型会通过一个前反馈神经网络路来进一步处理序列。这个网络路由两层全连接层和一个ReLU启动函数组成。
（6）残差连接和层归一化（Residual Connection and Layer Normalization）Transformer模型中的每一个子层（自注意力和前馈神经网路）都有一个残差连接，而其输出会通过层归一化。这有助于模型处理深度网路中常见的峰值消失和突然爆炸的问题。
