登录社区云,与社区用户共同成长
邀请您加入社区
修改ollama模型文件下载位置。你如果不改这个东西,所有的模型文件都会下到c盘,土豪随意。
这里修改环境变量:
OLLAMA_MODELS将这个环境变量设置为你想存放的路径。然后重启电脑!
免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖
更多推荐
VLLMService Operator 开发第五篇:部署 Operator 并验证模型服务
存储准备完成后,就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点:VLLMService 本身只是用户声明的期望状态,它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的
VLLMService Operator 开发第六篇:给模型服务增加 Service 自动创建能力
做到这里,VLLMService Operator 已经不只是创建 Deployment 了,它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键,因为 Service 是后续接入流量入口的基础。没有 Service,HTTPRoute 就没有稳定的后端目标;-> Pod-> Service-> Gateway也就是说,Service 是从“模型 Pod 能跑起
vLLM 与 SGLang 推理框架性能横评,同模型同硬件下吞吐量、首Token延迟对比,选出最适合个人开发者的推理后端
扫一扫分享内容
为遵守国家网络实名制规定,未绑定将限制内容发布与互动
所有评论(0)