RAG（Retrieval Augmented Generation,检索增强生成）是一个将大规模语言模型(LLM)与来自外部知识源的检索相结合的框架,以改进问答能力的工程框架。虽然一切都看起来很美好，在实际应用中，RAG的状态确是“一看就会，一用就废”，总是难堪大用。今天我们就来聊聊RAG，还有那些常见的坑和生产中的困境。

本文分享了物流技术团队在垂直领域大模型开发和部署过程中的技术细节、挑战解决策略以及实际应用案例。

人工智能技术领域持续火热，智能助手已经成为企业和个人提高效率、获取信息的重要工具。构建一个私有化智能助手，不仅可以满足个性化需求，还可以确保数据安全和隐私保护！

在大模型（如GPT、Qwen、DeepSeek等）的推理场景中，FastAPI 是一个高效、轻量级的Python Web框架，专为构建高性能API设计。它结合了异步编程（async/await）、自动数据验证（基于Pydantic）和强大的依赖注入系统，非常适合处理高并发的大模型推理任务。

《Hands-On Large Language Models》（中文版预计 4 月上市） ，由 Jay Alammar 和 Maarten Grootendorst 倾力打造，为你深入解读大模型的技术核心，让看似复杂的技术变得通俗易懂、触手可及！

本文深入探讨了知识图谱的构建全流程，涵盖了基础理论、数据获取与预处理、知识表示方法、知识图谱构建技术等关键环节。

DB-GPT 是一个实验性的开源应用，它基于FastChat，并使用vicuna-13b作为基础模型, 模型与数据全部本地化部署, 绝对保障数据的隐私安全。 同时此GPT项目可以直接本地部署连接到私有数据库, 进行私有数据处理， 目前已支持SQL生成、SQL诊断、数据库知识问答、数据处理等一系列的工作。

Open WebUI 是一个功能丰富且用户友好的自托管 Web 用户界面（WebUI），它被设计用于与大型语言模型（LLMs）进行交互，特别是那些由 Ollama 或与 OpenAI API 兼容的服务所支持的模型。

那高质量如何定义呢？（3）另外通过实验发现，如果模型微调的时候使用模板，那么推理的时候应该也使用模板，否则效果会影响，直观上就是生成效果不理想，生成比较短，甚至“驴唇不对马嘴”；或者有继续微调比较合适的方案也可以，不损失之前模型的效果（或者损失比较小），目前可以尝试Lora或者Qlora的方式微调底座模型，然后将训练好的Lora权重合并到原始模型，这样可以减轻多次微调对模型的影响。之前推理的时候，

人工智能水印技术入门：工具与技巧