U-Net 是一个非常经典且极其重要的卷积神经网络（CNN）架构。它最初是为了生物医学图像分割而设计的，但由于其特别的设计，如今已经成为各种图像分割任务乃至 AI 图像生成模型（如 Stable Diffusion）的核心组件。

这就是人工智能最核心的东西，掌握了这个，我们就知道了AI究竟是怎样学习的那么好的，同时，为了防止模型学习不到东西或只学习到遇到的数据，学习不到数据集外的数据（过拟合），我们还需要一个有效的训练技巧——这座山脉就是我们的损失函数（Loss Function），你在山上的位置就是模型当前的参数（Weights & Biases），而山谷的最低点就是我们追求的最小损失值。它指的是模型在训练数据上表现得太

长久以来，卷积神经网络（CNN）凭借其精心设计的归纳偏置（inductive biases），无可争议地统治着计算机视觉领域。然而，一篇名为《An Image is Worth 16x16 Words》的论文彻底改变了这一格局，它所提出的 Vision Transformer (ViT) 模型，成功地将源于自然语言处理（NLP）领域的 Transformer 架构直接应用于图像识别，并取得了惊人的

最后输出概率最高的词，比如“我”，被选为第一个生成的词。: 每个词的向量都吸收了来自整个句子的上下文信息，变成了一个新的、更丰富的向量。编码器的唯一目标是：接收一个完整的输入序列（例如，一个英文句子），然后为这个序列生成一个包含丰富上下文信息的、高质量的向量表示（我们称之为。这个包含了位置信息的向量矩阵，现在要进入由 N 层（比如6层）完全相同的编码器层（Encoder Layer）组成的堆栈。它

长久以来，卷积神经网络（CNN）凭借其精心设计的归纳偏置（inductive biases），无可争议地统治着计算机视觉领域。然而，一篇名为《An Image is Worth 16x16 Words》的论文彻底改变了这一格局，它所提出的 Vision Transformer (ViT) 模型，成功地将源于自然语言处理（NLP）领域的 Transformer 架构直接应用于图像识别，并取得了惊人的

今天我们来学习一个在人工智能绘画和生成模型领域非常火热的模型——概率扩散模型（Probabilistic Diffusion Model, DDM）。

ConvMixer 是一个简洁的视觉模型，仅使用标准的卷积层，达到与基于自注意力机制的视觉 Transformer（ViT）相似的性能，由此证明纯卷积架构依然很强大。和。制作一杯混合果汁。我们不会把整个水果直接扔进搅拌机，而是先切成小块（然后，搅拌机有两个关键动作：第一，刀片高速旋转，让每种水果块自己先碎掉（第二，整个杯子里的碎块因为搅动而互相融合在一起（ConvMixer 的设计与此相似。

在它之前，AI在阅读文本。 在它之后，AI在理解世界。BERT是AI史上的一个里程碑。它首次让机器能够双向、深度地理解语境，改变了自然语言处理领域的格局。它就像AI世界的罗塞塔石碑，被解锁后，便释放出无穷潜力，成为了今天几乎所有高级语言智能应用（从GPT到各类智能助手）的基石和灵感之源。认识BERT，就是认识现代AI的起点。