本篇文章的目的在于记录视频学习如何对大预言模型的实操。

4.运行 一个终端一个web端，需要指定预训练模型的路径。2.在魔塔社区下载预训练语言模型。5.微调llama微调框架适用。3.glm4的环境可以通用。1.github下载项目。同样可以查看占用的显存。

本篇文章的目的在于记录视频学习如何对大预言模型的实操。

分别对应图像数据、视频数据和视觉处理的元数据参数。prepare_inputs_for_vllm函数，将用户输入的对话消息（包含文本、图像 / 视频）预处理为 vllm 能识别的格式，同时确保视觉信息（图像 / 视频）与模型的视觉编码器兼容。将原始的。

在vscode中用连接云服务器，打开文件目录。

最近在工作中一直被要求测试资源占用率的问题，因此研究了下Vllm的一些参数，以下是部分学习内容，之后还会学习四卡如何提高推理速度。如果对你有帮助，可以评论支持一下。vLLM 核心配置与实操学习笔记本笔记聚焦 vLLM 大模型推理框架的核心显存管理、关键参数配置、KV 预填充优化、量化部署及多卡 / 多模型实操，提炼核心逻辑与实操规则，适配实际部署中的性能优化与显存防 OOM 需求。

数据并行、流水并行、张量（权重）并行：安装必要的库：transformers==4.36.2 accelerate==0.26.1 evaluate datasets - 阿里源。