大规模优化问题通常涉及大量的变量和约束，传统的优化方法可能会因为计算复杂度和内存限制而不适用。它在初始阶段接受较差的解，以避免陷入局部最优解，然后随着温度逐渐降低，算法趋向最优解。：在分布式优化中，多个计算节点通过局部计算和通信来协同求解一个全局优化问题。通过本课内容，学生能够理解大规模优化和分布式优化的基本概念和方法，并通过编程实现随机优化算法，掌握它们在数据科学和机器学习中的应用。随机优化方法

卷积神经网络是一类专门处理网格状结构数据的神经网络，最典型的是图像（2D 像素网格）。局部连接 + 参数共享 + 层级抽象。2012 年 AlexNet 在 ImageNet 上取得突破性成绩后，CNN 成为计算机视觉领域的主导模型。对于输入图像X∈RH×W×CinX∈RH×W×Cin​和卷积核K∈Rkh×kw×Cin×CoutK∈Rkh​×kw​×Cin​×Cout​，卷积输出Y∈R。

传统老师教学生：老师知道正确答案 → 直接告诉学生学生死记硬背知识蒸馏：老师不直接给答案，而是给"软标签"例子：识别"猫"硬标签：这是猫（100%）软标签：80%猫 + 15%狐狸 + 5%狗软标签包含更多信息："猫和狐狸有点像（尖耳朵、毛茸茸）""猫和狗也有点像（四足、宠物）"学生从软标签中学到"相似性关系"，比死记硬背更好概念一句话解释自监督学习从数据本身构造任务，无需人工标签知识蒸馏老师给软

提示就是你给模型的"指令"，告诉它"我要分割什么"。提示类型形式例子适合场景点提示单点/多点坐标点击猫的身体快速选择对象框提示矩形框坐标画框框住汽车对象边界清晰文本提示自然语言“分割红色的椅子”语义明确的对象掩码提示粗略掩码手绘大致轮廓需要细化边缘关键洞察传统模型：模型自己决定"要分什么"（预定义类别）SAM：用户通过Prompt告诉模型"要分什么"（开放类别）结果：SAM不需要认识"猫"这个类别

from ultralytics import RTDETR import yaml print("\n" + "=" * 60) print("【实验2】RT-DETR自定义数据集训练") print("=" * 60) # ============================================ # 步骤1：准备数据集（YOLO格式） # ===================

概念一句话解释把图像切块，用卷积映射成向量序列特殊标记，聚合全局信息用于分类1D位置编码给每个块一个"序号"，ViT原版方案归纳偏置模型内置的先验假设，CNN强、ViT弱大数据需求ViT没有归纳偏置，需要更多数据"从零学"预训练+微调在大数据上预训练，在小数据上微调，ViT的标准用法。

概念一句话解释BERT双向Transformer编码器，专门做"理解"MLM完形填空——遮住词，让模型根据上下文猜NSP判断两句话是否连续，学习句子关系[CLS]特殊标记，输出代表整句语义[SEP]分隔标记，区分两个句子预训练在大语料上自监督学习通用语言表示微调在具体任务上用小数据调整，快速适配理解 vs 生成；双向 vs 单向。

多模态与视觉大模型系列教程 第一单元：深度学习基础回顾（2讲） 第1讲：为什么需要"注意力机制"？ 核心问题：RNN/LSTM的瓶颈在哪里？长文本为什么记不住？通俗比喻：RNN像"一个人逐字读小说，读到后面忘了前面"；注意力像"看书时随时翻回前面查关键词"前置知识：矩阵乘法、Softmax、向量点积的几何意义动手实验：用NumPy手写一个

1.2 GAN的核心价值能力应用示例数据生成扩充训练数据生成稀有病症的医学影像图像翻译风格转换照片→油画、白天→黑夜超分辨率图像增强模糊照片→高清图像修复补全缺失老照片修复、去水印特征学习无监督预训练用GAN特征做分类2. 生成器与判别器：博弈论视角2.1 数学框架生成器 G：输入随机噪声 z，输出生成图像 G(z)判别器 D：输入图像 x，输出是真实图像的概率 D(x)博弈目标（Minimax

目标检测 = 图像分类 + 目标定位分类：框里是什么？（猫/狗/人）定位：框在哪里？（左上角x,y，宽w，高h）输入图像↓【检测模型】↓输出：[N, 6] 的检测结果例如：[100, 200, 300, 400, "cat", 0.95] ← 左上角(100,200)，右下角(300,400)，猫，置信度95%[500, 100, 700, 600, "dog", 0.88] ← 另一只狗比喻：A