logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vllm私有化部署

要速度、要并发、要集群→vLLM30 min 部署,千级 QPS要简单、要快速验证、要单机→Ollama5 min 部署,单卡即跑你的 8×5090 32G→两套都能跑先 Ollama 出原型,再 vLLM 上生产无缝切换。vLLM 技术原。

#人工智能
到底了