写文章
- @m0_60205898
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
【转载+修改】 ollama多显卡都用上，实现负载均衡
添加这两行：Environment="CUDA_VISIBLE_DEVICES=0,1" Environment="OLLAMA_SCHED_SPREAD=1"Environment="CUDA_VISIBLE_DEVICES=0,1" 代表让ollama能识别到第几张显卡。Environment="OLLAMA_KEEP_ALIVE=-1" 模型一直加载, 不自动卸载。Environment="
到底了