本文摘要总结了强化学习训练中的关键参数设置。主要分为四类：rollout参数控制采样步数；policy参数定义网络结构和探索强度；PPO算法参数包括更新幅度限制和训练轮数；感知参数则涉及卷积网络结构。特别指出conv_linear_output_size参数负责将卷积输出的多维张量展平为一维向量，作为后续策略网络的输入。这些参数共同影响训练效率、探索能力和最终策略性能。

【代码】使用vsode调试c++代码代码在断点处不停下的问题。

动手学习强化学习的环境配置

在强化学习环境创建中，使用旧版本Gym（v0.19及以前）时，设置环境随机种子的方式为env.seed(args.seed)。然而，由于setuptools版本问题，可能导致无法安装对应版本的Gym或与其他包发生冲突，报错为AttributeError: 'UnicycleEnv' object has no attribute 'seed'。为解决这一问题，可以改用新版本Gym，并将代码更改为e

此时很可能是因为apt源被错误替换了，建议替换回ubuntu22.04官方的源，在换回官方的源后，不再出现上面的错误。E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。保持 下列软件包于其当前版本：1)libpcl-dev [未安装的]libpcl-dev : 依赖: libvtk7-dev 但它是不可安装的。依赖: libvtk7-qt-dev 但它是不可安装的

注意docker的安装最好在超级用户状态下，通过sudo -i 进入超级终端模式。

在强化学习环境创建中，使用旧版本Gym（v0.19及以前）时，设置环境随机种子的方式为env.seed(args.seed)。然而，由于setuptools版本问题，可能导致无法安装对应版本的Gym或与其他包发生冲突，报错为AttributeError: 'UnicycleEnv' object has no attribute 'seed'。为解决这一问题，可以改用新版本Gym，并将代码更改为e

py虚拟环境中集成外部环境的包

动手学习强化学习的环境配置

2 记录虚拟机ip，可以通过win系统的vpn查看（clash下点击图中箭头按钮即可显示），或者通过命令行ipconfig进行查看。3 打开虚拟机下的网络配置，在设置中找到，打开网络代理并设置为手动。分别输入对应的地址和端口号。4 打开虚拟机设置，并编辑其中的网络适配器为仅主机模式。1 打开win系统下的代理允许。