GELU 函数是一种常用于现代深度学习模型的激活函数，定义为 GELU(x)=xΦ(x)，其中 Φ(x) 是标准正态分布的累积分布函数。因此，GELU 常用于 Transformer、BERT、GPT 类模型、前馈神经网络模块和现代深度学习模型，是理解大模型中激活函数选择的重要概念。从实践角度看，GELU 是现代深度学习中非常重要的激活函数，尤其适合与 Transformer 架构一起理解。从通俗

因此，自注意力机制常用于 Transformer、BERT、GPT、大语言模型、机器翻译、文本理解、文本生成、图像 Transformer、多模态大模型和扩散模型中的条件建模，是理解现代人工智能模型结构的重要基础概念。如果“机器学习”的 Key 与“它”的 Query 很相关，那么“机器学习”的 Value 就会以较大权重参与“它”的新表示。例如，在一句话中，一个注意力头可能关注主语和谓语关系，另

因此，多头注意力常用于 Transformer、BERT、GPT、大语言模型、机器翻译、文本生成、图像 Transformer、多模态模型和扩散模型中的条件建模，是理解现代人工智能模型结构的重要基础概念。从实践角度看，多头注意力是 Transformer 的核心，但它的效果并不只由“头数”决定，还与模型深度、隐藏维度、训练数据和任务目标有关。例如，在机器翻译中，一个注意力头可能关注词语对齐，另一个

Ps菜单：滤镜/Neural FiltersFilter/Neural FiltersNeural，可译为“神经”，所以本滤镜组可称为“神经滤镜组”。Neural Filters 包含了多个滤镜，使用由 Adobe Sensei 提供支持的机器学习功能，可大幅减少难于实现的工作流程。Neural Filters 通过生成新的相关像素来帮助改进图像，这些像素实际上不存在于原始图像之中。在使用时，旁边

（Remove Tool） 是一项基于生成式人工智能（Generative AI）的内容替换与补全系统，它不仅用于移除图像中不需要的对象，同时也可完成画布扩展中的区域填充。系统分析用户标注的区域，并利用深度学习模型识别该区域内可能包含的物体边界、材质特征和光照信息。基于稳定扩散类的生成模型，在像素级别合成与环境协调的新内容，实现无缝的视觉衔接。使用画笔工具，涂抹在 Photoshop 中扩充的区域

它的核心能力并不是完成某一个固定任务，而是围绕语言理解、文本生成、信息处理、推理协助、代码生成、工具调用和多模态交互等方向，形成一组通用任务能力。大语言模型的主要任务包括文本生成、语言理解、信息处理、推理规划、代码辅助、工具调用、智能体执行和多模态理解。因此，大语言模型更适合被理解为一种“语言驱动的智能协作工具”：它能够帮助人理解信息、组织内容、生成方案、辅助推理和调用工具，但最终仍需要人根据任务

它擅长理解、生成、总结、翻译、代码辅助和工具调用，但仍存在幻觉、偏见、知识滞后与安全风险。它能够理解、生成、改写、总结、翻译和组织自然语言，也能够在一定程度上完成代码生成、知识问答、逻辑推理、工具调用和多模态交互等任务。在医疗、法律、金融、制造、政务等行业中，大语言模型可以承担文档理解、辅助问答、流程自动化、报告生成和知识检索任务。简单来说，大语言模型的关键变化在于：它不再为每个任务单独从零训练一

多模态大模型并不只是简单调用几个独立模型，而是通过模态编码、跨模态对齐、连接模块或统一 Token 化等方式，使不同模态的信息能够进入同一任务系统，被共同理解、关联、推理和生成。从 CLIP 的图文对齐，到 BLIP-2、LLaVA 等视觉语言模型，再到支持图像、语音和视频交互的通用模型，多模态大模型已经逐渐从“图文匹配”走向“跨模态理解、推理与生成”。学习多模态大模型，不应只停留在“模型能看图聊

扩散模型训练稳定、生成质量高、多样性好，是理解现代图像生成和多模态生成模型的重要基础。例如，在图像生成任务中，扩散模型可以从一张随机噪声图开始，经过多步去噪，逐渐生成一张清晰图像。它说明训练时可以随机选择一个时间步 t，直接把真实图像 x₀ 加噪成 xₜ，然后让模型学习预测其中的噪声 ε。理想情况下，如果我们知道每一步如何从 xₜ 还原到 xₜ₋₁，就可以从纯噪声 x_T 开始，一步步生成清晰样本

输入数据、模型参数、中间激活值、损失值和梯度，通常都以张量形式存在。简单地说，torch 模块回答的是：数据在 PyTorch 中如何表示、如何计算、如何移动到 GPU 上，以及如何作为模型的输入、输出和参数参与训练。例如，一个张量形状是 (100, 4)，另一个张量形状是 (4,)，它们相加通常是合理的，因为 (4,) 可以看作对每个样本的 4 个特征分别加偏置。例如，图像张量从 (N, H,