ollama 多实例部署
·
如果我们需要在一台服务器上使用多个ollama服务，那么我们需要进行将ollama前端和ollama后端对应连接的操作，否则就会出现如下场景：
我们可以在当前端口设置，这句话就是指明当前ollama实例使用哪个后端进行请求：
export OLLAMA_HOST="127.0.0.1:12345"
也可以直接追加到这个用户配置文件的后面：
不过记得设置新下载的ollama，并追加到用户配置文件（参考上图倒数第二行）
免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)