简介

ollama 是一个语言大模型平台，可以在上面安装部署市面上的语言模型。开源免费，可离线使用。

本文介绍如何在 windows 系统上安装和使用 ollama。

安装

打开官网（https://ollama.com/download/windows），下载安装包。

下载下来直接安装。

安装完成。

可视化界面

安装完之后，使用 Docker 再安装一个可视化界面。

这个可视化界面是 open-webui（https://docs.openwebui.com/），敲下面的命令运行容器。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

本地没有镜像，会先拉镜像再运行容器，等一下。

OK，容器跑起来了。

浏览器访问 http://localhost:3000，访问应用，注册管理账户。注：如果无法访问该页面，关掉加速器或VPN。

完成创建，进入界面。

使用

接下来，我们基于 open-webui 来使用 ollama。

（1）管理模型

点击左下角的 “管理员面板”。

选择 “设置->模型->管理”，点击模型列表，查看可选择的模型。

如下，展示可选择模型列表。

添加模型，只需要复制模型名称到 open-webui 中添加，如我需要添加 “codegeex4” 模型。

下载中。

下载速度太感人了，无奈。我更换国内魔塔社区的模型（Qwen1.5-0.5B-Chat）。

（2）对话

模型安装完，就可以进行对话了。

（模型下歪了，在这胡言乱语）

另外可以回到刚刚的模型管理界面，对模型进行启停。

（3）管理账户

点击“用户”，可以在下面这个界面新增用户，对用户进行管理。

创建权限组

设置权限

（4）更多功能自行挖掘

另外

如果不想要可视化界面操作，也可以在命令行中操作。

命令列表。

• 查看版本：ollama -v

• 启动 ollama：ollama serve

• 查看模型列表：ollama list

• 安装模型：ollama pull [模型名称]

• 运行模型：ollama run [模型名称]

• 删除模型：ollama rm [模型名称]

• 离线导入：ollama create [自定义模型名称] -f [模型的GGUF文件]