actor-critic框架：策略网络（选动作）和价值网络（评价值）协同工作。截断损失：限制新策略与旧策略的差异（ratio在），避免更新不稳定。GAE优势估计：更准确地衡量动作价值，平衡偏差和方差。多轮迭代：同一批数据训练多轮，提高数据利用率。代码完整实现了PPO的核心逻辑，并在MountainCar环境中验证，通过自定义奖励函数（如根据动作与速度方向是否一致调整奖励）加速了训练过程。

深度学习中基于python的预处理和图像扩增方法

gym是目前强化学习最常用的工具之一，一直在迭代升级。gymnasium与gym之间的主要不同在于reset和step的返回参数数目发生了变化，具体变化见版本变化。有很多版本兼容问题，gym0.26.0和之后的版本对之前的代码不兼容。所以可以安装0.25.2。seed()函数在新版本已经被删除了。在新版本中，seed应该在reset()函数调用时指定。gym目前并不支持python3.11版本，所

python项目中某个文件名与需要引入的module中的文件名相同时，可能出现循环引用的情况，此时会报错ImportError: cannot import name ‘xxx‘ from partially initialized module xxx。如我的python文件命名为copy.py，需要引入的库恰好包含这个名称，把python文件改了就行。所以把项目文件中涉及报错内容的python

图像分类篇、卷积神经神经网络补充

YOLOv1、v2、v3算法思想与架构

100 ： 图片质量。

pytorch的损失函数

用python把一批文件复制到另一个文件夹中

深度学习中基于python的预处理和图像扩增方法