前言

本周的核心内容是Vision Transformer (ViT)以及视觉大模型（Large-scale Visual Models）的基础知识。从 NLP 领域的 Transformer 跨界到 CV 领域，再到如今火热的多模态大模型，深度学习的边界正在被不断拓宽。

一、 颠覆传统的跨界者：Vision Transformer (ViT)

长期以来，卷积神经网络（CNN）统治着计算机视觉领域。但随着 Transformer 在 NLP 领域的巨大成功，研究人员开始思考：能不能用 Transformer 来处理图像？ 于是，ViT 应运而生。

1. 图像如何输入 Transformer？（Embedding Layer）

Transformer 处理的是一维的序列数据（像句子里的单词序列），而图像是三维矩阵（高 × 宽 × 通道）。ViT 的核心创新之一就是将图像切分成 Patch（图块）。

  • Patch 划分： 假设输入图片大小为224×224×3，设定的 Patch 大小为 16×16。那么图片将被分为 (224/16)×(224/16)=14×14=196 个 Patch。
  • Linear Projection： 把每个 Patch 展平，并通过线性变换映射到一个指定维度（例如 768 维）。这就相当于 NLP 中的单词 Embedding。
  • Class Token： 模仿 BERT，在序列开头加入一个可学习的特殊 Token（第0个 Token），用于汇总全局特征进行最终分类。因此，总序列长度变为了 196+1=197196 + 1 = 197196+1=197。
  • Position Embedding（位置编码）： 由于 Transformer 本身没有位置概念，必须给每个 Patch 加上一维的位置编码（使用正余弦函数或可学习参数），让模型知道这个图块原来在图片的哪个位置。

2. ViT Encoder 的内部工作原理

数据准备好后，就会送入多个堆叠的 Transformer Encoder 模块。核心公式梳理如下：

  1. 输入准备：$z_0 = [x_{class}; x_p^1 E; ... ; x_p^N E] + E_{pos}$
  2. 多头自注意力层（MSA）：$z'_l = \text{MSA}(\text{LN}(z_{l-1})) + z_{l-1}$
  3. 多层感知机（MLP）：$z_l = \text{MLP}(\text{LN}(z'_l)) + z'_l$

其中，LN 代表 Layer Normalization。MSA 内部通过计算 Q (Query)、K (Key)、V (Value) 的相似度来进行全局信息的聚合。而在 MLP 层中，课程特别强调了 GELU 激活函数的应用，它结合了非线性与概率分布的思想，相比传统的 ReLU 在这种大模型中表现更好。

3. MLP Head 与微调 (Fine-tuning)

提取出全局特征后（主要通过 Class Token 的输出），接入一个全连接层（MLP Head）即可完成图像分类。在实际应用中，ViT 通常在大规模数据集（如 ImageNet-22K）上进行预训练，然后在特定的小数据集上进行微调（Fine-tuning），以适应具体的下游任务。

二、 大模型基石：从语言大模型到视觉多模态

了解了强大的 ViT 架构后，课程进一步引申到了当前最前沿的大语言模型（LLM）及多模态大模型的训练范式。

1. 大模型的三阶段训练魔法

现代大模型（如 ChatGPT 类模型）之所以如此强大，离不开一套经典的训练流程：

  • 无监督预训练 (Pre-training)： 让模型阅读海量无标注数据，目标是“预测下一个单词”或“预测被掩盖（Masked）的单词”，借此学习语言规律和世界知识。
  • 有监督微调 (Supervised Fine-Tuning, SFT)： 使用人工编写的“问题-高质量回答”数据，教导模型适应特定任务，学会用人类期望的对话格式输出。
  • 基于人类反馈的强化学习 (RLHF / PPO)：
    • 首先训练一个奖励模型 (Reward Model, RM)，输入 Prompt 和生成的文本，输出一个代表人类喜好程度的打分。
    • 然后使用 PPO 算法（近端策略优化），通过奖励模型的打分来更新大模型的参数，确保输出更符合人类价值观。

2. 视觉与语言的桥梁：多模态技术

真实世界不仅有文本，还有图像。Multimodal LLM（多模态大语言模型） 致力于将视觉和文本统一。

  • CLIP (Common Language-Image Pretraining)： 课程重点提到了 CLIP 这一里程碑式的工作。它通过大规模的“图文对”进行对比学习（Contrastive Learning），将图像特征和文本特征映射到了同一个向量空间中。有了 CLIP，我们就可以直接用自然语言来搜索、分类图像，甚至引导图像生成。
  • 自监督视觉模型（Knowledge Distillation & DINO）： 探讨了在没有人工标签的情况下，如何利用知识蒸馏（Teacher-Student 网络）和 DINO 等方法让视觉模型自己从图像中提取出极其强大的语义特征。
# 深度学习
Logo
亚马逊云科技技术品牌专区

更多推荐

cover

基于STM32的全屋环境智能监测与预警终端设计

avatar 亚马逊云科技技术品牌专区

Keras：面向人类的深度学习库

Keras3支持多后端（TensorFlow、PyTorch、JAX），通过设置环境变量切换，兼容指定版本。pip安装后可用Sequential API快速构建CNN模型，如MNIST分类示例，实

avatar 亚马逊云科技技术品牌专区

AI行业日报｜2026-09-25：5个热点事件

本期行业动态聚焦于端侧算力重构、自主智能体工作流、开发工具经济模型、网络隔离架构设计与公共部门合规审查。以下结合一线技术场景进行结构化梳理，供 AI 研究员与软件工程团队参考。 PrismML 正将其轻量级语言模型适配至搭载高通处理器的智能眼镜终端 1 。该平台的核心战略指向开源权重模型的本地化运行，旨在最大化挖掘穿戴设备现有算力的利用效率 1 。对于嵌入式与边缘计算开发者而言，此类微型模型向低功

avatar 亚马逊云科技技术品牌专区