
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
vLLM + Open WebUI 本地部署 QwQ-32B 模型
QwQ 是 Qwen 系列的推理模型。与传统的指令调优模型相比,能够思考和推理的 QwQ 可以在下游任务中实现显着增强的性能,尤其是难题。QwQ-32B 是中型推理模型,能够实现与最先进的推理模型(如 DeepSeek-R1、o1-mini)相比的竞争性能。

Linux配置Ollama+Open-WebUI时,HuggingFace访问失败问题
执行 bash start.sh 命令时会遇到 HuggingFace 访问失败问题,运行以下代码将 HuggingFace 官网地址更换为镜像地址,再次执行 bash start.sh 命令可以解决此问题。

国内部署 LLaVA-v1.6
国内部署 LLaVA-v1.6

到底了







