参考：《动手学强化学习》作者：张伟楠，沈键，俞勇动手学强化学习 网页版动手学强化学习 github代码动手学强化学习 视频强化学习入门这一篇就够了！！！万字长文（讲的很好）强化学习入门（第二版）读书笔记我做了一个思维导图很方便理解之后学习完会在这里一直更新。补充一下要下载的库#第5章#第7章这里仅记录下学习时遇到的问题，已经学了一个月了，只是忙于毕设没空来更新一下学习进度，发现踏入门槛后学习强化学

写了好几个版本的PPO，很容易出现的问题。

按导师要求学习了一下多目标强化学习，我看的论文是论文题目：A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation（一种用于多目标强化学习和策略适应的广义算法）复现代码：暂未上传复现结果：环境为gym的deep-sea-treasure-v0环境。

由于不同的代码需要的环境不同，在conda环境下使用旧版本的python 会经常导致cuda或torch的版本不对齐，跑不通，这里进行总结。特别是换显卡的时候1.看自己显卡的架构 从而知道至少多少版本的cuda才可以用（-- 4）2.用nvidia-smi 看目前可以支持最高多少版本的cuda,如果达不到想要的高版本cuda，再更新驱动（-- 3）3.由第一步得到的cuda版本找到最低的torch

由于不同的代码需要的环境不同，在conda环境下使用旧版本的python 会经常导致cuda或torch的版本不对齐，跑不通，这里进行总结。特别是换显卡的时候1.看自己显卡的架构 从而知道至少多少版本的cuda才可以用（-- 4）2.用nvidia-smi 看目前可以支持最高多少版本的cuda,如果达不到想要的高版本cuda，再更新驱动（-- 3）3.由第一步得到的cuda版本找到最低的torch

参考：《动手学强化学习》作者：张伟楠，沈键，俞勇动手学强化学习 网页版动手学强化学习 github代码动手学强化学习 视频强化学习入门这一篇就够了！！！万字长文（讲的很好）我做出的决策：选择了强化学习作为研究方向。强化学习是人工智能的未来。未来智能系统需要能够在不接受持续监督的情况下自主学习，而强化学习正是其中的最佳代表之一。我们知道，机器学习分为无监督学习，（有）监督学习，强化学习，迁移学习和深

1、在一般使用中，可以不必追求cpu和gpu计算的结果一致性，也也避免不了，且cpu和gpu导致的细小差别，在训练的效果上几乎没有区别。2、同时，在同一台设备上，我们尽量要求该程序的结果能复现，是为了更好修改超参数。（见:本文万能seed，适用于单机多卡）3、不必追求在不同的设备上能复现一致结果，最终的效果在相同的超参数和输入下，输出的结果也相差无几。4、cpu和gpu在设计时的目的也不同，有差异

目的是写出像TD3作者那样简单易懂的DRL代码,由于参考了ElegentRL和Easy的库,from easy to elegent 故起名为freeRL,free也是希望写出的代码可以随意的,自由的从此代码移植到自己的代码上。

由于不同的代码需要的环境不同，在conda环境下使用旧版本的python 会经常导致cuda或torch的版本不对齐，跑不通，这里进行总结。特别是换显卡的时候1.看自己显卡的架构 从而知道至少多少版本的cuda才可以用（-- 4）2.用nvidia-smi 看目前可以支持最高多少版本的cuda,如果达不到想要的高版本cuda，再更新驱动（-- 3）3.由第一步得到的cuda版本找到最低的torch

参考：《动手学强化学习》作者：张伟楠，沈键，俞勇动手学强化学习 网页版动手学强化学习 github代码动手学强化学习 视频强化学习入门这一篇就够了！！！万字长文（讲的很好）强化学习入门（第二版）读书笔记我做了一个思维导图很方便理解之后学习完会在这里一直更新。补充一下要下载的库#第5章#第7章这里仅记录下学习时遇到的问题，已经学了一个月了，只是忙于毕设没空来更新一下学习进度，发现踏入门槛后学习强化学