登录社区云，与社区用户共同成长
邀请您加入社区
随着**RAG检索增强生成、大模型应用普及，传统关系型数据库无法高效处理高维向量相似度检索。Milvus** 作为开源高性能向量数据库，广泛用于存储Embedding向量。本文采用****一键部署单机版Milvus，全程命令可直接复制运行，最后附带Python向量检索实战案例，快速上手向量检索开发。fill:#333;important;important;fill:none;color:#333
Windows使用docker安装milvus的配置文件。
本文全面梳理了大模型的各方面知识点，包括参数微调（PEFT）技术，适配器、LoRA和QLoRA，同时介绍了提示策略、模型压缩方法（如剪枝和量化），以及各种量化技术（GPTQ、NF4、GGML）。最后，对用于减小模型大小的蒸馏和剪枝技术也进行了讲解，希望对大家有帮助！
随着项目规模不断扩大（数千文件、百万行代码、多业务模块），单靠把所有文件或代码，硬塞进模型上下文，显然是不可行的。为了让模型在大项目里也能稳定运行，我们通常需要构建一套可扩展的上下文工程管理体系。
文章详细介绍了PPO算法在大模型微调中的应用，包括其背景、核心原理和算法流程。PPO通过剪切目标函数限制策略更新幅度，使用优势函数评估动作质量，确保训练稳定性。文章还提供了PPO的代码实现、优势与挑战，以及在大模型微调中的实用技巧，帮助读者理解如何有效应用PPO提升模型输出质量和对齐性。
本研究揭示了大语言模型应用的三种主要风险：能力降级、能力升级和能力越狱。通过对80万多个应用的分析发现，89.45%的应用易受能力越狱攻击，72.36%存在能力升级问题。研究指出，提示词设计质量低和平台默认插件配置不当是导致安全风险的主要原因，建议通过强化提示词约束和构建固定工作流来降低风险。
