搞大模型部署的人基本都踩过同一个坑：模型好不容易加载进去了，一压并发吞吐就掉，显存要么爆、要么大片闲置。说到底，LLM 在线服务的瓶颈不在算力，在显存管理和调度。vLLM 就是冲着这个瓶颈来的——它把显存当操作系统内存一样分页管理，硬生生把吞吐量拉到了 HuggingFace Transformers 的 24 倍。这篇文章解决一件事：**让你在生产环境（4×A100 80G）里把 vLLM 用明

摘要： ToolCall（工具调用）并非LLM的黑科技，本质是通过提示词引导模型输出结构化指令（如JSON），后端解析后执行真实工具并返回结果。实现流程分三步：定义工具函数（如加法）、用提示词约束输出格式、解析并执行指令。早期FunctionCall仅支持单函数调用，而ToolCall升级为多工具并行调用，格式更灵活。框架（如LangChain）只是自动化了流程，底层原理不变。关键点在于：LLM仅

VS Code Copilot Hooks 实战摘要 Copilot Hooks是VS Code新增的Agent行为管控功能，解决了传统Prompt引导的三大痛点：非确定性（Agent可能忽略约束）、无自动化流程、无统一管控。Hooks通过8个生命周期事件实现"强制触发、代码驱动"，核心场景包括安全管控、代码质量、审计合规等。 配置基于JSON文件，支持工作区优先的层级结构。核

文章摘要 sherpa-onnx是一个专注于语音识别(ASR)模型高效推理的开源库，由k2-fsa项目组维护。它基于ONNX Runtime，支持将多种ASR模型(如Paraformer、Whisper等)导出为ONNX格式进行跨平台部署。主要特点包括：轻量级(不依赖PyTorch)、支持多平台(Linux/Windows/移动端等)、提供多种语言绑定、同时支持流式和非流式识别。文章详细介绍了sh

FunASR是阿里达摩院开源的端到端语音识别工具包，集成了语音活动检测(VAD)、语音识别(ASR)、标点恢复等功能。本文重点介绍了轻量级模型Fun-ASR-Nano的使用方法，包括环境搭建、AutoModel机制、热词增强等特性，并提供了完整的实战代码示例。文章还分享了处理长音频时的OOM避坑技巧，通过调整batch_size_s等参数优化性能。FunASR将复杂的语音识别流程简化为几行Pyth

《从零搭建AI私人家庭医生项目：技术方案与实施规划》摘要 本文介绍了一个完整的AI私人家庭医生项目开发教程。该项目旨在通过大模型技术为家庭提供专业健康管理服务，包括医学报告解读、健康跟踪、风险评估等功能。技术方案采用Qwen-1_8B-Chat模型进行医疗微调，结合LangChain、RAG等核心技术，并配套FastAPI后端和React前端。教程将分阶段详细讲解环境搭建、数据处理、模型微调、前后

本文介绍了大模型微调开发环境的配置过程，针对服务器（Ubuntu20.04+V100）和本地（1660s显卡）两种场景提供了详细指导。核心内容包括：使用Anaconda创建Python3.11虚拟环境，安装兼容的Torch2.4.0+cu121版本，通过源码安装ms-swift3.12.6微调工具，以及通过yml文件补齐所有依赖项。文中特别强调了版本兼容性问题和显存管理技巧，并提供了相关参考文档链

MS-Swift命令行参数指南摘要：本文详细解析MS-Swift框架的核心参数配置，涵盖训练、推理、部署全流程。主要内容包括：1）参数结构分为基本、原子、集成和模型专属4层；2）关键参数模块如数据配置（dataset/val_dataset）、训练设置（batch_size/learning_rate）、LoRA微调（rank/alpha）、量化（bnb/nf4）和RLHF对齐（DPO/ORPO）

本文介绍了MS-Swift框架如何配置医疗对话数据集，重点解析了4种支持的数据格式（Messages/ShareGPT/Alpaca/Query-Response）和3种接入方式。针对医疗多轮对话和身份认知数据集，提供了正确的dataset_info.json配置示例，包含字段映射规则和训练命令。特别强调JSON合法性校验、路径规范和格式匹配等常见问题，最后展示了扩展支持的高级格式（RLHF/多模

本文基于MS-Swift框架实战，聚焦LoRA微调中最关键的两个参数`lora_rank (r)`和`lora_alpha`，从原理到实战，讲清作用、关系、调参技巧，适配Qwen-1.8B等小模型、医疗等垂直领域场景，看完直接套用。