LibreTranslate是一个带前端后端的机器翻译服务，可以开启关闭。在使用LibreTranslate前需要先安装机器翻译引擎argos-translate。

出现这种情况的原因还未知，猜测是由于langchain的stream会占用当前CPU导致无法去完成其他工作（just猜测）。顺便说一句：langchain有点不好用。fastapi+Langchain进行流式响应。代码只需要自己声明大模型实例对象即可。

k3s中安装es, mysql, redis, minio ，如果不想用k3s安装可以采用。

大模型微调分为几种，一是全量微调，这种微调方式需要有足够优秀的设备支持，在消费级硬件上对模型进行全部参数的微调几乎是不可能完成的任务。因此，研究者们提出了不同的参数高效迁移学习方法，即固定住的大部分参数，仅训练模型的一小部分参数来达到与全部参数的微调接近的效果，主要分为训练模型自身的参数和额外添加组件（仅仅微调训练少量或额外的模型参数）。这种微调方式可以在较小的GPU上实现，本文介绍的就是额外添加

LibreTranslate是一个带前端后端的机器翻译服务，可以开启关闭。在使用LibreTranslate前需要先安装机器翻译引擎argos-translate。

虚拟机平台有很多种，基于Hyper-v的在工作中没遇到过，该教程是在windows server 2012安装hyper-v，并且在hyper-v中创建虚拟机，用以后续实践需要方便翻阅。在这里是使用了vmware装了windows server 2012系统，然后再开启hyper-v用来实践，基于学习使用就搞了这种套娃的方法来做。