高成本和延迟是将大语言模型应用于生产环境中的主要障碍之一，二者均与提示词信息的体量（prompt size）紧密相连。鉴于大语言模型（LLM）展现出极强的广泛适用性，不少人视其为解决各类问题的灵丹妙药。通过与诸如检索增强生成技术（RAG）及 API 调用等在内的工具整合，并配以精细的指导性提示词，LLM 时常能展现出逼近人类水平的工作能力。

本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。本文的一个目的：基于模型进行微调，修改模型自我认证。修改前对于模型，用户问你是谁？时模型一般会回答我们希望在微调之后，对于同样的问题，模型能回答。

LLMs 被视为 AI 领域的一个里程碑式的突破，但要将其应用于实际生产环境，并且还能用对、用好并非易事。模型的使用成本和响应延迟是目前将大语言模型（LLMs）应用于生产环境中的核心难题之一。在本期刊载的这篇文章中，作者从自身项目的实践经验出发，分享了一系列实用技巧，帮助优化 LLM Prompt ，能够一定程度上降低大模型的使用成本和响应延迟。文章首先解析了导致高成本和高延迟的根源在于输入输出

本文深入探讨了如何通过优化动态上下文信息（Dynamic Context）来提升 AI Agents 的工作效率和准确性。文章首先概述了五种常见的技术策略，包括信息标识(Message Labeling)、针对不同需求设定不同上下文、优化系统提示词(System Prompts)、精简 RAG 系统中冗余信息，以及其他处理上下文的高级策略。

MLOps是构建机器学习模型并将其部署到生产环境中的一个组成部分。数据漂移可以属于MLOps中模型监控的范畴。它指的是量化观察数据相对于训练数据的变化，这些变化随着时间的推移，会对模型的预测质量产生巨大的影响，而且往往是更糟的影响。跟踪与训练特征和预测有关的漂移指标应该是模型监测和识别模型何时应该重新训练的重要组成部分。可以参考作者的另一篇文章（，了解在生产环境中监控ML模型相关概念和架构的更多细

Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。，这是 Ollama 的官网地址：https://ollama.com/以下是其主要特点和功能概述：1简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。2轻量级与可扩展：作为轻量级框架，Ollama 保持了较小的资源占用，同时

RAG 方法可能会面临两大挑战：为了解决上述问题，LLM 的提示词压缩技术（Prompt compression）应运而生。从本质上讲，其目的是精炼提示词中的关键信息，使得每个输入的词元（input tokens）都承载更多价值，从而提升模型效率并还能控制成本。这一理念在图 1 的右下角进行了直观展示。图 1：RAG 架构中的提示词压缩技术（见图右下角）。如紫色虚线标记的部分所示，某些压缩方法能够

从技术工程角度来看，利用向量数据库结合大型 AI 模型来构建领域知识库系统的实现并不复杂，然而，这一领域仍然面临着不少挑战和潜在的改进空间。在本文中，我们已经讨论了一些解决方案和技术，但仍然有许多可能的改进和未来发展方向值得深入研究。首先我们认为关键点还是解决向量检索的召回准确性和超长文本处理能力是两个难点，这些方面可能还有更好的方式。此外，大模型本身的能力和文档质量是系统性能的关键因素，因此需要

大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云

对于技术泡沫，大家可能最熟悉的就是 Gartner 的技术成熟度曲线图。过去几年确实出现了许多备受关注的技术，例如云计算、大数据、区块链和元宇宙。新技术让人激动，但很多企业在跟进这些技术时往往犹豫不决，担心不下注未来会被淘汰，也担心投入巨大但方向错误。例如，前几年 Facebook 押注元宇宙，甚至将公司名称改为 Meta，但元宇宙的技术成熟度和市场发展并未达到预期。幸好，Meta 公司在大模型时