专栏名称: OpenCV学堂

一个致力于计算机视觉OpenCV原创技术传播的公众号！OpenCV计算机视觉与tensorflow深度学习相关算法原创文章分享、函数使用技巧、源码分析与讨论、，计算机视觉前沿技术介绍，技术专家经验分享，人才交流，学习交流。

自注意力结构与Transformer模型概述

OpenCV学堂 · 公众号 · · 2024-07-06 22:47

正文

点击上方蓝字关注我们

微信公众号： OpenCV学堂

关注获取更多计算机视觉与深度学习知识

Transformer模型概述

Transformer是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本摘要等。它由编码器和解码器两大部分组成，每个部分都包含多个相同的层堆叠而成。

编码器（Encoder）

编码器负责处理输入序列，并提取特征。每个编码器层包含两个子层：

自注意力（Self-Attention）层

通过计算输入序列中每个元素与其他元素的关系，捕捉全局依赖关系。

前馈神经网络（Feed-Forward Neural Network）层

对自注意力层的输出进行进一步处理。此外，编码器还引入了位置编码（Positional Encoding）来保留序列中单词的顺序信息，因为Transformer本身不具有处理序列顺序的能力。

解码器（Decoder）

解码器负责生成输出序列。它的结构与编码器相似，但在自注意力层和前馈神经网络层之间增加了一个注意力层（Masked Self-Attention），用于确保生成的序列不会参考未来的信息。

多头注意力（Multi-Head Attention）

Transformer模型中的自注意力机制被扩展为多头注意力，允许模型同时关注输入序列的不同位置，从而捕捉更多的信息。

残差连接（Residual Connections）

层归一化（Layer Normalization）

为了加速训练和提高模型性能，Transformer在每个子层之后都加入了残差连接和层归一化。

ViT模型介绍

Vision Transformer (ViT) 是由 Google 团队在 2020 年提出的一种将 Transformer 架构应用于图像分类任务的模型。ViT 模型的核心思想是将图像分割成一系列小的图像块（patches），然后将这些图像块线性嵌入并添加位置编码，最后输入到标准的 Transformer 编码器中进行处理。这种方法使得 ViT 能够有效地处理图像数据，并且在大规模数据集上取得了优异的性能。