我是直接在https://www.autodl.com/上购买的,
在这里插入图片描述
选择显卡,选择社区镜像,输入ollama选择,选择这个ollama base V2版本,创建。

创建完成后,ssh进入到实例里,

修改ollama模型存放位置(必做)和设置启动端口(选做,果果需要外界访问,需要修改端口号)
本地创建一个文件目录用来存放模型文件:我的是: /root/autodl-fs/ollama_file/
web界面,开机后,会显示一个对外的连接地址,里面提示需要把ollama的启动端口修改为XXXX,就可以使用连接使用了,我的是6006端口

vim ~/.bashrc

进入文件,在最后添加两行:

export OLLAMA_MODELS="/root/autodl-fs/ollama_file/"
export OLLAMA_HOST="0.0.0.0:6006"

保存退出,然后:

source ~/.bashrc

然后使用:

 echo $OLLAMA_MODELS

  echo $OLLAMA_HOST

查看是否成功,接下来就可以使用

ollama serve
或者

nohup ollama serve &

启动了

Logo

免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐