【word脚注】双栏设置word脚注，脚注仅位于左栏，右栏不留白。调整前：脚注位于左下角，但右栏与左栏内容对其，未填充右下角的空白区域

【Zotero插件设置】Zotero Tag为文献设置阅读状态 win11下相关设置1.安装Zotero Tag1.1安装1.2配置1.3 win11的相关设置1.3.1 字体安装参考教程2.支持排序的标注参考教程

【Pytorch入门】小土堆PyTorch入门教程完整学习笔记（详细笔记 文末附练习代码 ipynb文件）

【word脚注】双栏设置word脚注，脚注仅位于左栏，右栏不留白。调整前：脚注位于左下角，但右栏与左栏内容对其，未填充右下角的空白区域

【强化学习】gymnasium自定义环境并封装学习笔记gym与gymnasium简介gymgymnasiumgymnasium的基本使用方法使用gymnasium封装自定义环境官方示例及代码编写环境文件__init__()方法reset()方法step()方法render()方法close()方法注册环境创建包 Package（最后一步）创建自定义环境示例

【强化学习】DPO（Direct Preference Optimization）算法学习笔记RLHF与DPO的关系KL散度Bradley-Terry模型DPO算法流程

这三个项目都是Stable Baselines3生态系统的一部分，它们共同提供了一个全面的工具集，用于强化学习的研究和开发。SB3提供了核心的强化学习算法实现，而RL Baselines3 Zoo提供了一个训练和评估这些算法的框架。SB3 Contrib则作为实验性功能的扩展库，SBX则探索了使用Jax来加速这些算法的可能性。

【强化学习环境搭建】mujoco，mujoco_py，d4rl等强化学习相关资源安装及使用的参考资料链接 持续更新ing1.安装mujoco2.安装mujoco_py3.安装d4rl4.安装gym或gymnasium在此博客中记录一些配置强化学习环境时 遇到的优质参考资料，持续更新ing~

StarVLA在LIBERO环境配置问题解决记录 作者在按照StarVLA官方教程配置Python 3.10环境时遇到OpenGL.raw.EGL._errors.EGLError等报错，主要涉及bddl、robosuite、mujoco等包的依赖版本冲突。通过多次尝试未果后，转而使用Python 3.8.13创建虚拟环境，并参考openpi官方提供的requirements.txt文件精确安装各

from PyQt5 import QtCore, QtGui, QtWidgets ImportError: libGL.so.1: cannot open shared object file: No such file or directorypip安装PyQt后QtCore没有问题，QtGui, QtWidgets会提示报错解决方法：安装容器apt updateapt install li