1.离线安装ollama

参照文档
https://github.com/ollama/ollama/blob/main/docs/linux.md

1.1.现在ollama安装包

https://ollama.com/download/ollama-linux-amd64.tgz
解压安装包
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
解压后会有两个目录
bin/
lib/

1.2.启动并验证ollama

cd bin/
ollama serve

ollama -v

此时ctrl+c退出。

1.3.将ollama作为服务启动

创建ollama用户，并制定用户主目录为/home/ollama(该目录可自定义)。
参数说明：
-r 创建系统用户（UID 通常在 1000 以下，无登录权限）
-s /bin/false 禁止用户登录（直接返回 false，比 /sbin/nologin 更严格）
-U 同时创建同名用户组（ollama 组）
-m 自动创建用户主目录（若目录不存在）
-d /home/ollama 指定主目录路径为 /home/ollama
ollama 用户名

本文档将ollama安装在/home/ollama目录下

sudo useradd -r -s /bin/false -U -m -d /home/ollama ollama

1.4.配置模型下载路径

mkdir /home/ollama/models
chown -R ollama:ollama /home/ollama/models
chmod 755 /home/ollama/models -R

1.5.创建service文件

touch /etc/systemd/system/ollama.service
vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
#启动ollama时，自动加载ai模型
ExecStart=/bin/sh -c "/home/ollama/bin/ollama serve && sleep 3 && /home/ollama/bin/ollama run deepseek-r1:7b"
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#允许远程访问ollama
Environment="OLLAMA_HOST=0.0.0.0"
#指定
Environment="OLLAMA_MODELS=/home/ollama/models"
#指定使用的两张显卡
Environment="CUDA_VISIBLE_DEVICES=0,1"
#强制使用双卡
Environment="OLLAMA_NUM_GPU=2"
#启用多卡调度
Environment="OLLAMA_SCHED_SPREAD=1"


[Install]
WantedBy=multi-user.target

2.下载并启动ai模型

2.1.下载模型

在能够联网的ollama服务器下载需要启动的模型

ollama pull deepseek-r1:7b

默认存储路径：
Linux/macOS：~/.ollama/models/
Windows：C:\Users<用户名>.ollama\models\

如，windows目录下存在两个文件夹

将这两个文件夹上传到服务器对应的文件夹下。在之前的配置的目录中：/home/ollama/models
这里注意文件权限要给到ollama用户：

chwon -R ollama:ollama /home/ollama/

2.2.启动ollama

sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama
sudo systemctl status ollama

2.3.验证

可以通过http://ip:11434/api/tags查看模型是否安装成功

3.安装dify

3.1.前置条件

已经安装git、docker 以及docker compose

3.2.下载源码

git clone https://github.com/langgenius/dify.git

3.3.启动dify

#注意！！如果是linux系统需要编辑.env文件。见文档底部
cd dify/docker
cp .env.example .env
docker compose up -d

3.4.踩坑

在unbuntu 24.04安装完dify1.7.1之后，无法安装ollama插件，或者安装完之后，无法添加模型（添加模型之后，显示修改成功，但是模型不显示）。
参考地址：https://blog.csdn.net/qq_43757282/article/details/147870366

#启用自定义模型
CUSTOM_MODEL_ENABLED=true
#指定 Ollama 的 API 地址（根据部署环境调整 IP）
OLLAMA_API_BASE_URL=http://host.docker.internal:11434
PROVIDER_OLLAMA_API_BASE_URL=http://host.docker.internal:11434
#修改 docker-compose.yml 中 plugin_daemon 服务的配置，避免安装超时中断
PLUGIN_PYTHON_ENV_INIT_TIMEOUT=640
PLUGIN_MAX_EXECUTION_TIMEOUT=2400
#PIP_MIRROR_URL=https://pypi.tuna.tsinghua.edu.cn/simple
PIP_MIRROR_URL=https://mirrors.aliyun.com/pypi/simple  # 加速依赖安装