人工智能的三大方法论仿生角度：神经网络、深度学习符号学角度：机器学习（统计、逻辑、搜索）行为学角度：控制论、强化学习深度学习是AI第三次崛起的核心技术，其发展得益于：大规模数据（非结构化数据）计算能力提升（GPU、TPU）算法突破（如BP算法、ReLU、Dropout等）深度学习通过分层特征提取，解决了传统机器学习中“特征工程”的瓶颈。从线性模型到感知机、BP网络、CNN，模型能力逐步提升。残差网

全连接网络参数过多，例如输入 1000×1000图像、隐含层 1M 节点时，参数数量达 10^12 量级，容易过拟合且难以收敛。贡献：使用ReLU激活函数，最大池化，数据增强（随机裁剪、水平翻转、光照抖动），双GPU并行。特点：全部使用 3×3小卷积核，网络深度达到16~19层，结构规整，参数约1.38亿。特点：平均池化，Sigmoid/Tanh激活，约6万参数，用于手写数字识别。，使网络可以接受

Transformer是Google团队在2017年提出的，论文名为《Attention Is All You Need》。它的最大创新是，只靠来完成序列建模。：不用按时间步一步一步算，非常适合GPU训练。：自注意力可以直接看到序列中任意两个位置的关系，缓解了长序列中的梯度消失问题。

CNN：依赖局部感受野与参数共享，难以建模全局依赖。ViT：将图像切分为 Patch，送入 Transformer 编码器，实现全局建模。CLIP：通过对比学习对齐图像与文本，支持零样本分类。DINO：自监督蒸馏学习，无需标注即可学习高质量视觉特征。核心思想：通过对比学习，将图像和文本映射到同一语义空间。训练目标：最大化匹配图文对的相似度，最小化不匹配对的相似度。零样本分类：通过文本提示（如 “a

初始化Q网络、策略网络、目标网络、经验池 → 每个时间步采样动作交互 → 存储 → 从回放池采样 → 计算目标y → 更新Critic → 重参数化更新Actor → 更新αα → 软更新目标网络。：距离目标负惩罚（−d−d）、碰撞惩罚（-100）、能耗惩罚（−∥a∥2×0.01−∥a∥2×0.01）、成功奖励（+500）其中 ψt可以是TD残差 rt+γV(st+1)−V(st)或优势函数 A(

强化学习，深度强化学习，在最近几年十分火爆，特别是其在机器人与大模型上的应用被发掘出来后。其实强化学习在多年前已经被提出（初学时很感兴趣的IRL，都是几十年前的理论了）。抛开一定的概率论数学门槛，相较于想在控制理论和计算机理论上有所突破，RL入门学习成本更低 ，因为其基础算法已经定型、代码上手门槛低、应用场景多、成果可视化快等等。强化学习被认为是监督学习和无监督学习之外的新的学习方法，我认为RL可

强化学习，深度强化学习，在最近几年十分火爆，特别是其在机器人与大模型上的应用被发掘出来后。其实强化学习在多年前已经被提出（初学时很感兴趣的IRL，都是几十年前的理论了）。抛开一定的概率论数学门槛，相较于想在控制理论和计算机理论上有所突破，RL入门学习成本更低 ，因为其基础算法已经定型、代码上手门槛低、应用场景多、成果可视化快等等。强化学习被认为是监督学习和无监督学习之外的新的学习方法，我认为RL可

本人自动化专业，学习强化学习半年，想尝试做一个强化学习的实例，于是选择了super_mario_bros作为第一个demo。使用PPO算法玩“超级马里奥兄弟”-云社区-华为云张伟楠.《动手学强化学习》.人民邮电出版社,2022。动手学强化学习【强化学习玩超级马里奥【2022年3月最新】（学不会可以来打我）】强化学习玩超级马里奥【2022年3月最新】（学不会可以来打我）_哔哩哔哩_bilibili原