云服务部署Ollama
·
我是直接在https://www.autodl.com/上购买的,
选择显卡,选择社区镜像,输入ollama选择,选择这个ollama base V2版本,创建。
创建完成后,ssh进入到实例里,
修改ollama模型存放位置(必做)和设置启动端口(选做,果果需要外界访问,需要修改端口号)
本地创建一个文件目录用来存放模型文件:我的是: /root/autodl-fs/ollama_file/
web界面,开机后,会显示一个对外的连接地址,里面提示需要把ollama的启动端口修改为XXXX,就可以使用连接使用了,我的是6006端口
vim ~/.bashrc
进入文件,在最后添加两行:
export OLLAMA_MODELS="/root/autodl-fs/ollama_file/"
export OLLAMA_HOST="0.0.0.0:6006"
保存退出,然后:
source ~/.bashrc
然后使用:
echo $OLLAMA_MODELS
echo $OLLAMA_HOST
查看是否成功,接下来就可以使用
ollama serve
或者
nohup ollama serve &
启动了
更多推荐



所有评论(0)