logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Claude Desktop 连接本地 LLM(llama.cpp + LiteLLM)部署

本文详细介绍了在Windows和Ubuntu环境下,通过Claude Desktop客户端连接本地Llama.cpp模型服务的完整部署方案。核心架构包括:1)Windows端通过端口转发将Claude Desktop的请求转发至Ubuntu服务器;2)Ubuntu端运行Llama.cpp模型服务(适配4×3090 GPU)和LiteLLM网关(禁用数据库功能)。关键步骤涵盖环境配置、服务部署、端口

到底了