LM Studio跑起来DeepSeek的一个小模型DeepSeek-R1-Distill-Qwen-1.5B-Q2_K.gguf

山塘小鱼儿

510人浏览 · 2025-02-11 08:40:08

山塘小鱼儿 · 2025-02-11 08:40:08 发布

用十年前的一台老笔记本，16G内存，i7的处理器

跑的时候性能截图

deepseek的回答

加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

大模型输出格式约束原理

Prompt 引导 → 后处理验证 → 约束解码 → API 原生结构化输出这个过程中，核心思想从生成后检查转变为生成中约束——从概率保证走向了确定保证。场景推荐方案简单格式要求Prompt 引导 + 后处理验证严格 Schema自部署模型vLLM + XGrammar（推荐）复杂 DSL/文法多平台兼容AI SDK + 适配层不再把模型当作文本生成器，而是把它当作受控的数据生成器。当模型的输出格