logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vLLM + Open WebUI 本地部署 QwQ-32B 模型

QwQ 是 Qwen 系列的推理模型。与传统的指令调优模型相比,能够思考和推理的 QwQ 可以在下游任务中实现显着增强的性能,尤其是难题。QwQ-32B 是中型推理模型,能够实现与最先进的推理模型(如 DeepSeek-R1、o1-mini)相比的竞争性能。

文章图片
#linux#运维#服务器 +2
Linux配置Ollama+Open-WebUI时,HuggingFace访问失败问题

执行 bash start.sh 命令时会遇到 HuggingFace 访问失败问题,运行以下代码将 HuggingFace 官网地址更换为镜像地址,再次执行 bash start.sh 命令可以解决此问题。

文章图片
#linux#服务器
到底了