登录社区云，与社区用户共同成长
邀请您加入社区
AI 梦境日志 —— 可控幻觉生成模型当所有人都在教大模型"别胡说"时，我选择逆向而行——让模型学会"有品位地胡说"。本项目基于 AMD ROCm 云服务器和 Gemma 4 E4B-it 基座模型，通过 LoRA 微调打造了一款"超现实主义文本生成器"。核心创新在于噪声注入训练：在微调过程中通过 Token Masking（随机遮蔽输入）、增大 LoRA Dropout 以及推理时的高温采样，让
vLLM本地部署指南摘要 vLLM是由加州大学伯克利分校开发的高效大语言模型服务引擎，以PagedAttention技术为核心，提供远超传统方案的吞吐量和内存效率。本文提供完整的本地部署教程： 环境准备： 推荐Linux系统+NVIDIA GPU 需安装Python 3.9+、CUDA工具包 支持conda环境隔离 安装部署： 提供标准/最小化/源码三种安装方式 支持自动或手动下载Hugging
vLLM的定位是服务端LLM推理引擎，而不是个人本地试玩工具。如果只是本地体验模型，或者主要使用CPU推理、GGUF模型，llama.cpp和Ollama通常更合适。vLLM的核心场景，是将开源LLM稳定部署为在线服务。它的优势主要体现在GPU推理、高并发处理、监控指标和生产部署能力上，适用于企业内部模型服务、RAG系统、Agent平台，以及需要多人同时调用的API服务。不过vLLM本身并未提供官
官方给出了 MiniMax-M3 与多款主流模型的对比，在编码、Cowork、GUI、多模态与推理等多个维度均具备竞争力，其中等多模态与协作类任务表现尤为亮眼，编码上也达到。需要说明的是，目前两者均为，两大引擎主线版本对 M3 的正式支持仍需等待一段时间。本文采用 vLLM 的专用镜像进行部署与测试。vLLM 官方镜像地址为。
本文介绍了在NVIDIA T4 GPU环境下使用vLLM部署Qwen2.5-Coder-32B-Instruct-AWQ大模型的过程。主要内容包括：1）通过阿里魔搭社区下载模型；2）使用vLLM Docker镜像加载模型，配置了双GPU并行、16K上下文长度等参数；3）成功启动服务后，通过curl命令测试模型API接口，验证模型能正常返回对话响应。整个过程涵盖了从环境准备到服务部署的完整流程，适用
果想用国内LLM或者其他中转的LLM，通常是兼容OpenAI的模式，但是OpenAI这里配置是写死的，无法自定义baseurl：如果想直接通过vLLM配置，默认无法指定api key：看来默认就无法使用其他LLM了？已跟PM反馈过此问题，回复后续版本会考虑支持这个OpenAI兼容的LLM配置。但是目前有没有workaround呢？实际测试，通过Nginx配置结合vLLM的入口，可以实现连通国内LL
企业——在之上，专述等多实现的路由、限流、、缓存与可观测契约；并与对齐。：vLLM/KV/量化见；Agent 应用组件见；Guardrails 见。
vLLM与SGLang推理框架性能横评摘要 本文对比了两种主流LLM推理框架——vLLM（聚焦高吞吐）和SGLang（侧重低延迟）的核心特性和性能表现。测试在相同硬件（A100 GPU）和模型（LLaMA-2-7B）下进行，评估了吞吐量、延迟、内存效率和扩展性。 关键发现： 吞吐量：vLLM凭借PagedAttention技术，在长文本推理和大规模并发请求中表现更优；SGLang的动态批处理则在高
这篇博客来聊聊vLLM到底是怎么工作的。顺便讲讲为啥需要它、它是怎么把显存玩出花的，以及在真实场景里它是怎么撑起那些动辄成千上万人同时在线的大模型服务的。
大模型推理部署的核心矛盾是 GPU 成本与流量波动的冲突。连续批处理和 PagedAttention 从引擎层面压榨 GPU 性能，预热池从调度层面消除冷启动延迟，GPU 感知的弹性伸缩从资源层面实现按需分配。三者协同构成了大模型推理服务的生产级部署架构。落地路线建议：第一步，选用 vLLM 作为推理引擎，开启 PagedAttention 和前缀缓存；第二步，基于 OpenAI API 协议封装
