Linux云服务器安装ollama相关操作
·
1.下载安装包
Ollama 官网
解决下载慢的办法
速度大概是10min下载1%,完全不能接受啊!
其中很好的一个加速方式是通过使用github文件加速来替换github下载地址,提升国内用户下载。
下载ollama_install.sh并保存
在home目录下的或者是工作空间下的某一个地址执行:
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
目录下面会生成ollama_install.shCopy文件
使用github文件加速替换github下载地址
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh
对文件中下载链接地址进行替换
chmod 777 ollama_install.sh
执行sh下载安装
sh ollama_install.sh
使用systemd运行Ollama服务
查看 ollama 所在目录
whereis ollama
# ollama: /usr/local/bin/ollama /usr/local/lib/ollama
启动 Ollama 服务
创建systemd服务文件:
- 在
/etc/systemd/system/目录下创建ollama.service文件,内容如下 -
[Unit] Description=Ollama Service After=network-online.target [Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*" Environment="OLLAMA_MODELS=/data/ollama/.ollama/models" ExecStart=/usr/local/bin/ollama serve User=root Group=root Restart=always RestartSec=3 [Install] WantedBy=default.target启动 Ollama 服务:
- 重新载入 systemd 配置:
-
systemctl daemon-reload - 启动服务
systemctl start ollama
- 设置开机自启
systemctl enable ollama
- 查看服务状态
systemctl status ollama
直接使用ollama命令启动服务
- 在安装好Ollama后,直接在命令行中运行:
ollama serve
这样Ollama服务就会启动,监听默认端口11434
需要在dify的.env 配置文件后面添加 OLLAMA_API_BASE_URL后面根公网ip地址
#启用自定义模型
CUSTOM_MODEL_ENABLED=true
#指定:olama 的API地址(根据部署环境调整IP)
OLLAMA_API_BASE_URL=http://119.29.232.181:11434
更多推荐


所有评论(0)