1.下载安装包

Ollama 官网

  Download Ollama on Linux

解决下载慢的办法

速度大概是10min下载1%,完全不能接受啊!
其中很好的一个加速方式是通过使用github文件加速来替换github下载地址,提升国内用户下载。

下载ollama_install.sh并保存

在home目录下的或者是工作空间下的某一个地址执行:

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

目录下面会生成ollama_install.shCopy文件

使用github文件加速替换github下载地址

sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh

对文件中下载链接地址进行替换

chmod 777 ollama_install.sh

执行sh下载安装

sh ollama_install.sh

使用systemd运行Ollama服务

  查看 ollama 所在目录

whereis ollama
 
# ollama: /usr/local/bin/ollama /usr/local/lib/ollama
启动 Ollama 服务

  创建systemd服务文件

  • /etc/systemd/system/​目录下创建ollama.service​文件,内容如下
  • [Unit]
    Description=Ollama Service
    After=network-online.target
     
    [Service]
    Environment="OLLAMA_HOST=0.0.0.0"
    Environment="OLLAMA_ORIGINS=*"
    Environment="OLLAMA_MODELS=/data/ollama/.ollama/models"
    ExecStart=/usr/local/bin/ollama serve
    User=root
    Group=root
    Restart=always
    RestartSec=3
     
    [Install]
    WantedBy=default.target

    启动 Ollama 服务:

  • 重新载入 systemd 配置:
  • systemctl daemon-reload
  • 启动服务
systemctl start ollama
  • 设置开机自启
systemctl enable ollama
  • 查看服务状态
systemctl status ollama

 

直接使用ollama命令启动服务

  • 在安装好Ollama后,直接在命令行中运行:

 

ollama serve

 这样Ollama服务就会启动,监听默认端口11434

需要在dify的.env 配置文件后面添加 OLLAMA_API_BASE_URL后面根公网ip地址

#启用自定义模型
CUSTOM_MODEL_ENABLED=true
#指定:olama 的API地址(根据部署环境调整IP)
OLLAMA_API_BASE_URL=http://119.29.232.181:11434

 

Logo

免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐