RAG标签_AMD开发者中国社区

RAG

RAG 加速指南：Faiss / Milvus / Qdrant 向量库选型与调优

向量数据库是 RAG（检索增强生成）系统的核心基础设施。当你的知识库从几千条增长到百万、千万级时，向量检索的性能瓶颈就会彻底拖垮你的 AI 应用响应速度。Faiss：Meta 出品的纯库，轻量但功能有限Milvus：云原生向量数据库，功能完整，生产级首选Qdrant：Rust 写的新一代向量库，性能出色，API 友好本文将从原理对比 → 性能实测 → 部署配置 → 调优指南四个维度，帮你做出最适合

 codefan※
2026-06-01 13:55:19

 361

 7

#faiss #milvus #知识图谱 +1
LLaMA Factory 实战—单卡 3 小时训练你的专属大模型！

本文将会带领大家使用 LLaMA Factory 的 Agent Tuning 功能，使用单张 GPU 在 3 小时内训练出自己专属的 LLM Agent。

AI-智能
2025-04-24 11:59:12

 1382

 17

#RAG #人工智能 #知识图谱
小模型干大事情,基于LLaMA-Factory+Lora入门级微调开源AI模型

从头开始训练一个模型，所有模型的参数都会被初始化并根据训练数据进行更新。最初使用的就是直接通过transformers 对模型训练。

AI-智能
2025-05-21 10:15:28

 386

 4

#人工智能 #RAG #知识图谱 +1
如何用Ollama+Llama3本地跑通RAG问答

RAG（检索增强生成）是一种将外部知识库与大语言模型动态结合的关键技术，其核心原理是通过向量检索精准召回相关文档片段，再交由LLM生成准确、可溯源的回答。该技术显著提升模型在专业领域、私有数据场景下的事实性与可控性，避免幻觉，降低微调成本。当前主流实践已转向轻量化本地部署：借助Ollama提供的标准化模型管理与API服务，搭配Llama3等开源高质量基座模型，可在消费级硬件上快速构建端到端RAG系

 Maggie H
2026-06-25 11:15:38

 208

 3

#RAG #Ollama
Llama 4时代RAG实战：Groq+MXBAI嵌入的轻量级文档问答系统

RAG（检索增强生成）作为大模型落地的关键范式，其核心在于解耦长文本存储与精准语义理解。当主流模型宣称支持千万级上下文时，实际推理中仍面临注意力失焦、指代消解失败和幻觉加剧等固有瓶颈——这恰恰凸显RAG不可替代的技术价值：通过向量检索将海量信息压缩为高相关性片段，交由LLM进行轻量、可控、可解释的生成。本文聚焦工程可落地的RAG实现路径，深度融合Groq低延迟推理与mxbai-embed-larg

小糖元
2026-06-25 13:24:52

 322

 3

#RAG
DeepSeek-R1本地RAG实战：Ollama量化部署与工程化调优指南

RAG（检索增强生成）是一种将大语言模型与外部知识库动态结合的关键技术，其核心原理在于通过向量检索精准定位相关上下文，再交由LLM生成可信回答。技术价值体现在可控性、数据隐私保障与低延迟响应，广泛应用于企业知识库问答、技术文档智能检索、标准规范辅助审查等场景。本文聚焦DeepSeek-R1这一强推理模型在本地环境的落地实践，深入解析Ollama如何通过Q4_K_M量化压缩、Flash Attent

葛店小学张洪雨
2026-06-25 16:44:04

 315

 5

#Ollama #RAG
大模型技术地图：5本硬核书构建AI工程决策能力

生成式AI已从概念走向产线核心，但技术选型、模型调优与合规落地常陷认知模糊——根源在于缺乏对Transformer数学本质、架构演进逻辑与工业级约束的系统理解。本书单聚焦‘可证伪性’‘上下文锚定’和‘代际穿透力’三大支点，覆盖LLM底层矩阵分解、MoE/SSM等新架构适用边界、DPO训练稳定性边界、量化部署帕累托前沿及AI水印与偏见治理等关键技术价值。面向算法工程师、MLOps与产品负责人，提供从

 吴前锐
2026-06-24 12:42:42

 272

 13

#生成式AI #RAG
本地知识库搭建实战：Ollama+Llama3+AnythingLLM全链路指南

本地知识库是企业与个人实现私有化AI问答的核心基础设施，其本质是将非结构化文档通过嵌入（Embedding）向量化，并结合大语言模型完成语义检索与生成式回答。技术原理涵盖文本分块、向量存储、RAG架构协同及模型轻量化部署。该方案显著提升数据安全性与响应实时性，避免公网API调用延迟与隐私泄露风险，广泛适用于法律合同解析、内部技术文档问答、医疗科研资料检索等场景。本文基于Ollama本地运行Llam

有孚君
2026-06-23 09:12:12

 266

 8

#RAG
Qwen3-Embedding-4B部署教程：SGlang环境快速上手指南

本文介绍了如何在星图GPU平台上自动化部署Qwen3-Embedding-4B镜像，快速构建高性能文本嵌入服务。依托SGlang推理框架，该镜像可高效支持语义搜索、RAG知识库构建及多语言文档召回等典型场景，显著提升AI应用的检索精度与响应速度。

已退乎
2026-01-24 03:33:28

 177

 5

#RAG
Llama-Factory微调Llama3实战：显存优化、Docker部署与RAG适配

大语言模型微调已从学术实验走向工程落地，参数高效微调（PEFT）成为消费级GPU上的主流范式。Llama-Factory并非简单封装，而是围绕LoRA微调、动态梯度检查点、量化感知训练与RAG-ready导出构建的闭环工具链。其核心价值在于解决显存瓶颈、模板对齐、Ollama兼容性等真实生产问题——尤其在中文RAG场景中，通过强制匹配llama3专用chat_template与RoPE配置，显著提

 闲白客
2026-06-19 15:49:02

 275

 11

#RAG
RAGognizer实战：为LLaMA-Factory模型添加幻觉感知检测头

在检索增强生成（RAG）系统中，大语言模型（LLM）的幻觉问题一直是影响其可靠性的核心挑战。其原理在于，模型在生成答案时可能忽略或曲解提供的参考文档，转而依赖自身训练数据中的记忆进行“编造”。为了解决这一问题，业界提出了幻觉感知微调技术，通过在模型生成主干旁并联一个轻量级检测头，实时分析模型内部状态，为每个生成token输出一个“可归因于上下文”的置信度分数。这项技术的核心价值在于，它不仅能在推理

 雨少主
2026-06-21 13:26:05

 346

 6

#RAG #LLaMA-Factory
GitHub热点项目实战观测：RAG工具链、LoRA稳定性与Spring AI工程化

RAG（检索增强生成）和LoRA（低秩自适应）是当前大模型落地的核心技术路径，其原理分别涉及向量检索一致性保障与微调过程中的梯度稳定性控制。技术价值在于降低AI应用开发门槛、提升训练鲁棒性并实现企业级工程集成。典型应用场景包括轻量级本地知识库构建、资源受限环境下的模型微调，以及Java生态中AI能力的标准化注入。本文基于raglite、unsloth和spring-ai-alibaba三个真实Gi

ehism
2026-06-19 10:28:46

 263

 8

#RAG #LoRA
vLLM能否用于RAG系统的底层引擎？可行性分析

本文分析vLLM作为RAG系统生成引擎的可行性，重点探讨其PagedAttention和连续批处理技术如何解决长上下文、高并发与显存效率难题，并评估集成成本、性能优势及适用边界，论证其为何成为RAG推理层的理想选择。

已退乎
2025-11-25 09:34:21

 388

 4

#vLLM #RAG
Flowise高效部署模式：结合vllm提升GPU算力利用率

本文介绍了如何在星图GPU平台上自动化部署Flowise镜像，结合vLLM显著提升GPU算力利用率，快速构建高性能RAG知识库问答系统。用户可通过可视化拖拽方式，5分钟内搭建支持多并发、低延迟的智能客服或企业知识检索应用，无需编写代码即可上线生产环境。

Boa波雅
2026-02-08 00:10:48

 406

 12

#RAG
一文搞懂大模型的部署（Ollama和vLLM）

Ollama是一款专注于简化大型语言模型本地部署和运行的开源框架，基于Go语言实现，支持跨平台运行，并以“开箱即用”为核心理念，适合个人开发者和轻量化场景。

AI小白龙*
2025-06-12 13:04:54

 1375

 29

#人工智能 #RAG
通义千问Embedding模型如何集成？vLLM部署步骤详解

本文介绍了如何在星图GPU平台上自动化部署通义千问3-Embedding-4B-向量化模型镜像，快速构建企业级语义搜索服务。依托平台能力，用户可一键完成vLLM+Open WebUI联合部署，典型应用于技术文档知识库的自然语言精准检索，如从百页Kubernetes手册中秒级定位‘会话保持’相关内容。

战神哥
2026-02-08 00:38:51

 525

 5

#RAG
如何通过vLLM镜像提升RAG系统响应速度？

本文深入探讨如何利用vLLM推理加速镜像显著提升RAG系统的响应速度与并发处理能力。通过PagedAttention和连续批处理技术，vLLM可大幅提高显存利用率和吞吐量，实测性能较传统方案提升达8倍以上，并支持OpenAI兼容接口，实现低延迟、高可用的生产级部署。

杏花朵朵
2025-11-24 09:23:20

 879

 20

#vLLM #RAG
大模型实战：下载开源模型 + vLLM 部署 + Ollama 对比

vLLM 是“走向工程 / 服务 /高负载 /规模化”的桥梁，而 Ollama 更偏向“个人 / 原型 / 轻量 /易上手”。

瓦罗兰特顶级C位
2026-01-10 10:53:45

 1043

 21

#人工智能 #RAG
Flowise高算力适配：vllm加速本地模型推理性能优化

本文介绍了如何在星图GPU平台上自动化部署Flowise镜像，结合vLLM加速实现高性能本地大模型推理。通过可视化拖拽方式，用户可快速构建RAG知识问答工作流，典型应用于企业内部制度查询、客服文档智能检索等场景，显著提升响应速度与并发能力。

就念
2026-02-04 00:12:16

 274

 5

#vLLM #RAG
大模型训练与微调：10 分钟教你用 LLama-Factory 训练和微调 LLama3 模型

本文将探讨于2024年3月21日发布的LLama-Factory，并学习如何使用 DigitalOcean 旗下的 Paperspace平台对 LLama 3 进行微调。为了完成我们的任务，我们将使用 NVIDIA A4000 GPU，它被认为是功能最强大的单插槽 GPU 之一，能够无缝集成到各种工作站中。

菜鸟Java码农
2024-11-16 13:56:33

 1171

 13

#人工智能 #RAG
只需四步，完成基于Llama-factory的模型微调过程

Llama-factory是一种常用的模型微调框架，之前一直知道有这样一款产品，但是没有尝试过。本文记录了本地基于Llama-factory的模型微调过程，方便后续进行复盘。

人工智能小豪
2025-12-24 10:39:03

 833

 22

#人工智能 #RAG #transformer
速通LLM & VLM！LLaMA-Factory快速入门指南~

LLaMA-Factory项目的目标是整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。

AI-智能
2025-05-02 08:15:00

 1516

 13

#人工智能 #RAG
大模型训练与微调：10 分钟教你用 LLama-Factory 训练和微调 LLama3 模型

本文将探讨于2024年3月21日发布的LLama-Factory，并学习如何使用 DigitalOcean 旗下的 Paperspace平台对 LLama 3 进行微调。为了完成我们的任务，我们将使用 NVIDIA A4000 GPU，它被认为是功能最强大的单插槽 GPU 之一，能够无缝集成到各种工作站中。

菜鸟Java码农
2025-01-18 08:45:00

 983

 11

#人工智能 #RAG
打造自己的大模型-01篇｜LLaMA-Factory微调Llama3和其占用资源分析

本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！

Python秒杀
2025-06-11 13:29:46

 998

 19

#人工智能 #RAG