ollama终端的方式部署参考：ollama本地部署 智谱API Key获取

LM Studio

它是模型的托管平台，可以把模型加载后，作为服务器向外提供服务器，本身也具有简单的对话框可以聊天。
：https://lmstudio.ai/
在左下角改为开发者模式：
在这里插入图片描述
右下角改为汉语：
在这里插入图片描述

点击左边栏搜索，进入后搜索DeepDeek，点击下载，下载完后加载模型：
在这里插入图片描述
点击左边栏 “开发者” ，进入后打开Status:Running，也可以在Server Settings中设置是否向外开启服务器，默认只监听本机：
在这里插入图片描述
点击左边栏，“聊天”，这里就可以使用了。
在这里插入图片描述

Cherry Studio

其实在LM Studio中就已经可以聊天使用了，但是Cherry Studio是专门做聊天的界面，这里用它来连接LM Studio这个服务。
： https://www.cherry-ai.com
点击右上角设置：
在这里插入图片描述
搜索LM Studio，点击管理，这时候会看到在LM中运行的模型，点击+号，添加。
在这里插入图片描述
API密钥随便填写，然后旁边的检查，会提示连接成功：
在这里插入图片描述
点击左边栏的 默认模型 把三个默认模型都换成连接到的deepseek：
在这里插入图片描述

返回首页，点击话题，开启对话：
在这里插入图片描述

Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

avatar AMD开发者中国社区

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

avatar AMD开发者中国社区
cover

vLLM 与 SGLang 推理框架性能横评，同模型同硬件下吞吐量、首Token延迟对比，选出最适合个人开发者的推理后端

avatar AMD开发者中国社区