写文章
- @weixin_44555917
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
vLLM+Dify部署记录
本文提供了在Ubuntu Linux系统上搭建私有大模型服务的完整指南，使用vLLM推理框架和Dify应用平台部署Qwen3.5-0.8B模型。主要内容包括： 环境准备：配置CUDA 12.9路径和Python虚拟环境 安装依赖：通过国内镜像源安装vLLM、ModelScope等工具包 模型下载：使用ModelScope下载Qwen3.5-0.8B模型权重 推理服务：配置和启动vLLM推理API服
到底了