注：显存会占满，因为vllm框架在占显存，不是模型占显存，当服务停止后，显存才会释放。开启服务后此终端窗口不能关闭，新打开一个窗口。

对话模板是定义当前这个模型在进行文本回复时是以什么方式进行回复的。如果对话模板的规则改变了，那么模型的回复一定是发生变化的。模型私有化部署微调训练的目的：让模型具有处理特定问题的能力。第一种比较浅显、简单的知识和能力。例如：你叫什么名字：以前叫张三，现在叫张麻子微调主要更改模型的第一种能力（微调可以看作我们人类现实中的一段经历）第二种能力类似于模型本身的智能（智商）例如：该模型在微调之前就已经达到

LoRA是通过引入低秩矩阵来减少微调时的参数量。在预训练模型中，LoRA通过添加两个小矩阵B和A来近似原始的大矩阵W，从而减少需要更新的参数量。eg：W：m×n， 则B：m×r，A：r×n（通常r=8~64）训练时，输入分别与原始权重和两个低秩矩阵进行运算，共同得到最终结果，优化则仅优化A和B，W不变训练完成后，可以将两个低秩矩阵与原始模型中的权重进行合并，合并后的模型与原始模型无异### 1.2

概念量化是模型（性能）优化的方法之一。量化是通过对模型参数的精度进行压缩（例如之前存储一个参数需要32bit，量化后只要8bit或者4bit。简单理解，就是降低数据的存储精度），从而达到减少模型体积，降低模型计算复杂度的效果。量化可以用在两个方面：量化技术最早用在模型部署时，主要解决模型体积过大和对算力依赖过高问题。目前量化计算也被大量用于大模型的训练过程中，主要降低模型对设备的依赖性和降低训练时

LoRA是通过引入低秩矩阵来减少微调时的参数量。在预训练模型中，LoRA通过添加两个小矩阵B和A来近似原始的大矩阵W，从而减少需要更新的参数量。eg：W：m×n， 则B：m×r，A：r×n（通常r=8~64）训练时，输入分别与原始权重和两个低秩矩阵进行运算，共同得到最终结果，优化则仅优化A和B，W不变训练完成后，可以将两个低秩矩阵与原始模型中的权重进行合并，合并后的模型与原始模型无异### 1.2

概念量化是模型（性能）优化的方法之一。量化是通过对模型参数的精度进行压缩（例如之前存储一个参数需要32bit，量化后只要8bit或者4bit。简单理解，就是降低数据的存储精度），从而达到减少模型体积，降低模型计算复杂度的效果。量化可以用在两个方面：量化技术最早用在模型部署时，主要解决模型体积过大和对算力依赖过高问题。目前量化计算也被大量用于大模型的训练过程中，主要降低模型对设备的依赖性和降低训练时

概念量化是模型（性能）优化的方法之一。量化是通过对模型参数的精度进行压缩（例如之前存储一个参数需要32bit，量化后只要8bit或者4bit。简单理解，就是降低数据的存储精度），从而达到减少模型体积，降低模型计算复杂度的效果。量化可以用在两个方面：量化技术最早用在模型部署时，主要解决模型体积过大和对算力依赖过高问题。目前量化计算也被大量用于大模型的训练过程中，主要降低模型对设备的依赖性和降低训练时