一、下载和安转Ollama

因为大模型的部署需要一个载体,我们的Ollama就相当于这个载体。

1.1 下载Ollama

Ollama官网地址:Download Ollama on Windows

这里编下载的是Windows版本,大家根据自己的操作题自行选择就好了。

1.2 安装Ollama

两点注意:

  1. Ollama安装包默认只能安装到C盘,Ollama本身大概会占用4GB左右;
  2. 如果大家都C盘空间充足的话可以直接双击打开安装包点击安装即可;

下面 介绍如何将Ollama安装到其他盘:

①首先将你的Ollama安装包放到想要安装的路径下,例如  D:\Ollama

②然后,在该路径下打开 CMD终端

在终端输入命令符安装   

③然后在CMD窗口输入安装指令:OllamaSetup.exe /DIR=D:\Ollam

语法解释:安装包名称 /DIR=应用程序指定安装的目录

然后Ollama就会进入安装,点击Install后,可以看到Ollama的安装路径就变成了我们指定的目录了

1.3 配置环境变量

通常安装完成后就可以继续使用了,但是对于某些电脑,比如我的是Win11,还需要进行一些环境变量的配置;

共需要进行三步环境变量的配置:

  1. 修改AI大模型的下载路径;
  2. 在系统环境Path路径下添加Ollama的环境变量;
  3. 配置服务监听地址,允许让其他网络可以访问到本地的大模型(可选);

首先第一步:打开“环境变量”,选择“高级设置”

1)配置AI大模型存储位置

首先我们提前创建好AI大模型的存储路径;

例如:我直接在Ollama安装路径下创建了一个Models文件夹作为存储路径:D:\Ollama\Models

然后在系统变量栏,新建一个变量;

变量名为:OLLAMA_MODELS
变量值为:D:\Ollama\Models

2) 检查Ollama的环境变量

通常情况,Ollama安装时会自动为我们配置好环境变量;

验证方法:在CMD执行ollama命令

  • 如果识别失败,重启电脑再试一次;成功会有下面的样式:

  • 如果还是不成功(一般到这一步都能够成功),我们就需要手动配置一下:

(1)还是打开系统环境变量,双击Path:

(2) 点击新建,然后输入我们的Ollama安装目录

注意:添加到 PATH 的路径是包含 ollama.exe 可执行文件的安装目录,而不是其他子目录;

3)其他环境的配置(可选)

除了以上必要的基本配置外,还有几点环境变量可选择性的修改,以方便今后其他操作;

①配置服务监听地址用来允许让其他网络可以访问到本地的大模型

  • 变量名:OLLAMA_HOST
  • 变量值:0.0.0.0

OLLAMA_HOST       0.0.0.0    --任何IP都可以访问

监听ip地址默认为127.0.0.1(仅限本机访问);

如需远程访问可设置为0.0.0.0(设置方法同样是新建一个变量,输入变量名和值);

为http开放请求

  • 变量名:OLLAMA_ORIGINS
  • 变量值:*

下图所示:

1.4、验证Ollama

上述步骤完成后,我们可以打开CMD,输入ollama -v命令,如果出现如下图所示的内容就代表Ollama安装成功了:

二、本地部署DeepSeek-r1

1. 选择模型并下载

① 我们打开Ollama官网,点击顶部的Models链接,此时我们就会看到deepseek-r1模型排在第一位,如下图所示:

② 点击deepseek-r1链接进去,此时我们会看到下拉框中有各个版本的大模型,如下图:

  • 模型越大对电脑硬件的要求越高,具体可根据自己的电脑和需求有选择性的下载
  • 通常对于游戏本来说,下载7B的是没什么问题的;
模型规模 显存要求 计算能力 内存与存储 典型应用场景
7B-13B 14GB-32.5GB 中等 32GB内存,10GB存储 实时客服、边缘设备
33B-65B 82.5GB-162.5GB 128GB内存,高速存储 金融风控、科研分析
67B及以上 134GB以上 极高 256GB以上内存,大容量存储 高性能计算、科研级应用

③ 随后我们复制后面的命令ollama run deepseek-r1,粘贴到新打开的CMD窗口中回车执行;

后半段下载的速度很慢,我们可以ctrl + c停止运行,然后“向上”箭头重新下载,这个时候速度回有所提升:

2. 验证和使用DeepSeek

① 在DeepSeek下载完成后,我们就可以在CMD中进行对话了,如下图所示:

② 如果想退出对话,我们可以通过 /bye 命令退出,如下图所示:

③ 假设我们安装了多个DeepSeek模型,我们可以通过 ollama list命令查看已安装了的模型,如下图所示:

④ 如果我们想运行某个模型,我们可以通过ollama run 模型名称命令运行即可,如下图所示:

到这里我们自己的本地大模型就成功部署好了

Logo

免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐