作者：吴业亮博客：wuyeliang.blog.csdn.net测试工具本文性能测试使用的是 HammerDB 内置的 TPC-C 基准测试负载。TPC-C 是一种典型的 OLTP 工作负载，其模拟了拥有多个仓库的商品批发销售公司为大量客户发货商品的场景，其中仓库数的调整在测试中能够体现数据库所能够支持的数据规模能力。HammerDB 下载地址HammerDB 使用手册HammerDB 内置 TP

本文介绍了一个完全本地化的RAG系统构建方案，基于LangChain框架和A40 48G显卡资源实现。系统采用的技术栈包括Ubuntu 22.04、Conda环境管理、SGLang推理框架、Chroma向量数据库等。详细阐述了环境配置步骤（包括系统更新、Conda安装、Python环境创建）和核心组件安装（LangChain、SGLang、PyTorch等）。文章提供了文档处理模块和向量存储模块的

说明：此配置会让Ollama将模型保持加载在内存（显存）中。

LLaMA-Factory 是一站式大语言模型（LLM）微调框架，支持多种参数高效调优（PEFT）和全参数调优算法，适配不同算力、精度和任务场景。本文详细解析其中核心的五种调优算法的原理、适用场景、实现逻辑及优缺点。

摘要： 本文详细介绍了在Ubuntu 22.04上部署Kubernetes集群并运行vLLM推理框架的完整流程。vLLM凭借PagedAttention和动态批处理技术显著提升GPU推理效率，支持多GPU并行及主流大模型。部署过程涵盖环境准备（NVIDIA驱动、容器运行时）、K8s集群搭建、vLLM容器化部署及优化（GPU调度、模型持久化）。通过K8s的Device Plugin实现GPU资源管理

基于PagedAttention优化KV Cache（量化、页大小、批处理）；基于Continuous Batching最大化批处理效率；结合Ubuntu 22.04系统级优化释放硬件潜力；量化是显存优化的核心，TP是多GPU并行的关键。

在传统数据并行训练中，每个GPU都保存完整的模型副本（包括参数、梯度和优化器状态），这导致显存使用存在大量冗余。而ZeRO通过将训练状态精细分区，使每个GPU仅保存部分数据，仅在需要时通过集合通信获取其他分区的数据，从而大幅降低单卡显存需求。，只需训练极少参数（通常不足原模型的1%），却能达到接近全参数微调的效果。梯度累积则通过多次小批量计算后再更新权重，模拟大批次训练效果，这对于显存有限的设备尤

vLLM与SGLang对比分析 vLLM和SGLang是两种面向不同场景的LLM推理框架。vLLM专注于通用推理的高吞吐量和低延迟，采用PagedAttention和Continuous Batching技术优化显存管理和批处理效率，适合批量API服务。SGLang则针对结构化推理场景，通过Structured Prompt和SGM调度器优化多轮对话、工具调用等复杂流程，提升交互式应用的灵活性。性

快速上手：优先选择 DDP，配置简单、稳定性高；大模型训练：优先选择 DeepSpeed（ZeRO-2/3）或 FSDP，显存效率更高；多机训练：DDP/FSDP 配置更简洁，DeepSpeed 需确保多机通信正常；所有场景建议使用 LoRA 微调（而非全量微调），大幅降低显存占用。

作者：吴业亮博客：http://blog.csdn.net/wylfengyujiancheng防火墙报错Jun 19 09:17:03 node1 polkitd[70705]: Registered Authentication Agent for unix-process:90316:4708272 (system bus name :1.380 [/usr/bin/pkttyagen...