前一阵一直学c++ ，今天终于算学了个大概，把之前一段搞的分布式通信记录下。ROS的版本：Melodic板子：Jeson Nano 4GB镜像：ubuntu 18.04首先要在电脑上装ros才可以实现分布式通信，主要是为了在电脑上运行rviz，nano装小车上跑rviz有点耗算力。还没在电脑上装ROS的直接跳到第四步。提示：以下是本篇文章正文内容，下面案例可供参考其他在另外板子上实现分布式通信也是

本学期的大作业，要求完成多智能体PPO的乒乓球对抗环境，这里我使用IPPO的方法来实现。【游戏ai】从强化学习开始自学游戏ai-1非侵入式玩像素小鸟的第一部分。想着这次做IPPO的自博弈，应该会好上手不少，但是实际情况，这个Pettingzoo里的环境，还是有些bug的，经过修改后，可以达到良好的效果。效果见：(欢迎star)

这里为复现论文ddpg时，遇到的4个细节，及如何将它实现。参考复现代码：等等（其余相关参考会细节处体现）适用于：已经知道ddpg原理，但发现借用的代码不work时，来寻求更符合原论文代码的人群。FreeRL(欢迎star)ddpg在原论文是针对continue环境提出的，这里仅实现了continue形式的ddpg，后续有空会再补写一个离散域环境的ddpg。即使有了一个好的框架和算法，DDPG还是会

参考：《动手学强化学习》作者：张伟楠，沈键，俞勇动手学强化学习 网页版动手学强化学习 github代码动手学强化学习 视频强化学习入门这一篇就够了！！！万字长文（讲的很好）强化学习入门（第二版）读书笔记我做了一个思维导图很方便理解之后学习完会在这里一直更新。补充一下要下载的库#第5章#第7章这里仅记录下学习时遇到的问题，已经学了一个月了，只是忙于毕设没空来更新一下学习进度，发现踏入门槛后学习强化学

简单记录下配置强化学习电脑需要注意的，和了解的。2024年618个人装机：硬盘可以改成 致钛tiplus7100 1tb都可以当时差不多1.5w差不多，618下来1.3w左右，现在在同等价格下配置还能再高一点。

本学期的大作业，要求完成多智能体PPO的乒乓球对抗环境，这里我使用IPPO的方法来实现。【游戏ai】从强化学习开始自学游戏ai-1非侵入式玩像素小鸟的第一部分。想着这次做IPPO的自博弈，应该会好上手不少，但是实际情况，这个Pettingzoo里的环境，还是有些bug的，经过修改后，可以达到良好的效果。效果见：(欢迎star)

将其中所有的trick都用上即为Rainbow_DQN。效果如下：（学习曲线）具体实现细节，代码中有较为详细的阐述。

一般来说，对于ppo这种类在线策略的深度学习算法：1、对于原代码全是gpu训练的(上面例子)，需要改三处，注意第三处，可改可不改第4处。2、全cpu训练的，前两处加的不变，第三处的修改有变化，：(这里也要特别注意，否则也会报同时用两个设备的错误)即：在模型训练时，把所有要计算的tensor张量加到gpu中。如下所示：顺口记法：对于在线的策略（无经验池的策略），大体框架改两处，对应设备改一处，否则会

按导师要求学习了一下多目标强化学习，我看的论文是论文题目：A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation（一种用于多目标强化学习和策略适应的广义算法）复现代码：暂未上传复现结果：环境为gym的deep-sea-treasure-v0环境。

最近又看了一遍《深度强化学习》，和TD3的代码，觉得市面上好多代码写的非常绚丽，但表达的意思，实际的操作确实同一个，再此总结一下这些常见的代码的含义。顺便自己构建一个比较简单易懂的强化学习算法供自己使用。暂时只搭建了部分，欢迎star参考了很多人写的代码，这里先不列举了。torch版本：2.3.1+cu121python版本：3.11.9设计深度强化学习库的思想。