说明：此配置会让Ollama将模型保持加载在内存（显存）中。

LLaMA-Factory 是一站式大语言模型（LLM）微调框架，支持多种参数高效调优（PEFT）和全参数调优算法，适配不同算力、精度和任务场景。本文详细解析其中核心的五种调优算法的原理、适用场景、实现逻辑及优缺点。

摘要： 本文详细介绍了在Ubuntu 22.04上部署Kubernetes集群并运行vLLM推理框架的完整流程。vLLM凭借PagedAttention和动态批处理技术显著提升GPU推理效率，支持多GPU并行及主流大模型。部署过程涵盖环境准备（NVIDIA驱动、容器运行时）、K8s集群搭建、vLLM容器化部署及优化（GPU调度、模型持久化）。通过K8s的Device Plugin实现GPU资源管理

基于PagedAttention优化KV Cache（量化、页大小、批处理）；基于Continuous Batching最大化批处理效率；结合Ubuntu 22.04系统级优化释放硬件潜力；量化是显存优化的核心，TP是多GPU并行的关键。

在传统数据并行训练中，每个GPU都保存完整的模型副本（包括参数、梯度和优化器状态），这导致显存使用存在大量冗余。而ZeRO通过将训练状态精细分区，使每个GPU仅保存部分数据，仅在需要时通过集合通信获取其他分区的数据，从而大幅降低单卡显存需求。，只需训练极少参数（通常不足原模型的1%），却能达到接近全参数微调的效果。梯度累积则通过多次小批量计算后再更新权重，模拟大批次训练效果，这对于显存有限的设备尤

vLLM与SGLang对比分析 vLLM和SGLang是两种面向不同场景的LLM推理框架。vLLM专注于通用推理的高吞吐量和低延迟，采用PagedAttention和Continuous Batching技术优化显存管理和批处理效率，适合批量API服务。SGLang则针对结构化推理场景，通过Structured Prompt和SGM调度器优化多轮对话、工具调用等复杂流程，提升交互式应用的灵活性。性

快速上手：优先选择 DDP，配置简单、稳定性高；大模型训练：优先选择 DeepSpeed（ZeRO-2/3）或 FSDP，显存效率更高；多机训练：DDP/FSDP 配置更简洁，DeepSpeed 需确保多机通信正常；所有场景建议使用 LoRA 微调（而非全量微调），大幅降低显存占用。

作者：吴业亮博客：http://blog.csdn.net/wylfengyujiancheng防火墙报错Jun 19 09:17:03 node1 polkitd[70705]: Registered Authentication Agent for unix-process:90316:4708272 (system bus name :1.380 [/usr/bin/pkttyagen...

作者：【吴业亮】博客：https://wuyeliang.blog.csdn.net/1、节点规划192.168.8.11 node1admin（启动mon、osd、mgr）192.168.8.12 node2node2（启动mon、osd）192.168.8.13 node3node3（启动mon、osd）2、配置/etc/hosts（各个节点）192.1...

在传统数据并行训练中，每个GPU都保存完整的模型副本（包括参数、梯度和优化器状态），这导致显存使用存在大量冗余。而ZeRO通过将训练状态精细分区，使每个GPU仅保存部分数据，仅在需要时通过集合通信获取其他分区的数据，从而大幅降低单卡显存需求。，只需训练极少参数（通常不足原模型的1%），却能达到接近全参数微调的效果。梯度累积则通过多次小批量计算后再更新权重，模拟大批次训练效果，这对于显存有限的设备尤