摘要： 本文详细介绍了使用华为ms-swift框架微调Embedding模型的方法。核心原理是通过对比学习优化预训练模型的向量空间，采用LoRA技术降低显存消耗。环境配置涵盖Ubuntu系统依赖、MindSpore安装及ms-swift框架部署。数据准备支持三元组和成对标注两种格式，并提供了示例数据集。微调配置通过YAML文件定义关键参数，包括模型类型、训练策略和优化设置。最后给出训练启动命令及日

Ollama是一个开源大型语言模型平台，支持本地部署和离线使用，提供多种预训练模型（如GPT、BERT等）进行文本生成、翻译、代码编写等任务。核心功能包括模型微调、跨平台支持（Windows/macOS/Linux）、性能优化和社区支持。安装方式灵活，支持Docker容器，硬件要求适中（推荐4核CPU、8GB内存）。通过命令行工具可轻松运行模型（如Llama3.2），支持交互对话和模型管理。应用场

作者：吴业亮博客：wuyeliang.blog.csdn.net测试工具本文性能测试使用的是 HammerDB 内置的 TPC-C 基准测试负载。TPC-C 是一种典型的 OLTP 工作负载，其模拟了拥有多个仓库的商品批发销售公司为大量客户发货商品的场景，其中仓库数的调整在测试中能够体现数据库所能够支持的数据规模能力。HammerDB 下载地址HammerDB 使用手册HammerDB 内置 TP

本文介绍了一个完全本地化的RAG系统构建方案，基于LangChain框架和A40 48G显卡资源实现。系统采用的技术栈包括Ubuntu 22.04、Conda环境管理、SGLang推理框架、Chroma向量数据库等。详细阐述了环境配置步骤（包括系统更新、Conda安装、Python环境创建）和核心组件安装（LangChain、SGLang、PyTorch等）。文章提供了文档处理模块和向量存储模块的

说明：此配置会让Ollama将模型保持加载在内存（显存）中。

LLaMA-Factory 是一站式大语言模型（LLM）微调框架，支持多种参数高效调优（PEFT）和全参数调优算法，适配不同算力、精度和任务场景。本文详细解析其中核心的五种调优算法的原理、适用场景、实现逻辑及优缺点。

摘要： 本文详细介绍了在Ubuntu 22.04上部署Kubernetes集群并运行vLLM推理框架的完整流程。vLLM凭借PagedAttention和动态批处理技术显著提升GPU推理效率，支持多GPU并行及主流大模型。部署过程涵盖环境准备（NVIDIA驱动、容器运行时）、K8s集群搭建、vLLM容器化部署及优化（GPU调度、模型持久化）。通过K8s的Device Plugin实现GPU资源管理

基于PagedAttention优化KV Cache（量化、页大小、批处理）；基于Continuous Batching最大化批处理效率；结合Ubuntu 22.04系统级优化释放硬件潜力；量化是显存优化的核心，TP是多GPU并行的关键。

在传统数据并行训练中，每个GPU都保存完整的模型副本（包括参数、梯度和优化器状态），这导致显存使用存在大量冗余。而ZeRO通过将训练状态精细分区，使每个GPU仅保存部分数据，仅在需要时通过集合通信获取其他分区的数据，从而大幅降低单卡显存需求。，只需训练极少参数（通常不足原模型的1%），却能达到接近全参数微调的效果。梯度累积则通过多次小批量计算后再更新权重，模拟大批次训练效果，这对于显存有限的设备尤

vLLM与SGLang对比分析 vLLM和SGLang是两种面向不同场景的LLM推理框架。vLLM专注于通用推理的高吞吐量和低延迟，采用PagedAttention和Continuous Batching技术优化显存管理和批处理效率，适合批量API服务。SGLang则针对结构化推理场景，通过Structured Prompt和SGM调度器优化多轮对话、工具调用等复杂流程，提升交互式应用的灵活性。性