前言

蛇年过年前,国产大模型 DeepSeek以更高的效率、更低的计算成本火爆国内外,成为现象级AI,但由于访问人数过多经常频繁出现反应迟缓甚至是宕机的情况。

但万幸的是,DeepSeek 是一个开源模型,我们可以通过本地部署在自己的终端上随时使用,而且部署到本地后无需联网即可直接使用。

硬件要求

CPU:至少需要一个支持虚拟化的多核处理器(推荐 Intel i5 或更高)。

内存:至少 8GB RAM(推荐 16GB 或更高,尤其是运行大模型时)。

显卡(可选):如果你希望利用 GPU 加速模型运行,建议使用支持 CUDA 的 NVIDIA 显卡(如 GTX 1060 或更高)。不过,DeepSeek 也可以在 CPU 上运行,只是速度会稍慢。

安装 Ollama

如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具,这是一个开源的本地大模型运行工具。

我们可以访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。

在这里插入图片描述
下载完成后,双击安装即可。大约占用C盘4.5G的空间。
打开cmd,输入ollama help 验证是否安装成功。
在这里插入图片描述

设置ollama环境变量,重启后生效。

OLLAMA_PROXY_URL:127.0.0.1:11434
OLLAMA_MODELS:指定ollama模型的存放路径(E:\deep-seek\ollama_models)

二:下载部署 Deepseek 模型

回到 https://ollama.com/ 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。
在这里插入图片描述
根据自己的电脑配置选择合适的模型。

模型 显存 显卡 内存 硬盘
1.5b 4-6 GB NVIDIA GTX 1060 / RTX 2060 8-16 GB 10-20 GB
7b 12-16 GB NVIDIA RTX 3060 / RTX 3080 16-32 GB 20-40 GB
8b 16-20 GB NVIDIA RTX 3080 / RTX 4080 32-64 GB 40-80 GB
14b 24-32 GB NVIDIA RTX 3090 / A100 64-128 GB 80-160 GB
32b 48-64 GB NVIDIA A100 / RTX 4090 128-256 GB 160-320 GB
70b 80-128 GB NVIDIA A100 (多卡) / H100 256-512 GB 320-640 GB
671b 320+ GB 多张 NVIDIA A100 / H100 1 TB+ 2 TB+

查看自己电脑的配置
方法一:
按下 Win + R 键,打开运行窗口。
输入 dxdiag,然后按回车。

在打开的 DirectX 诊断工具 窗口中,切换到 显示 选项卡。
这里会显示显卡的型号、制造商以及显存大小(标注为“显示内存”)

方法二:
通过 NVIDIA 控制面板查看(仅限 NVIDIA 显卡)
右键点击桌面空白处,选择 NVIDIA 控制面板。

在左下角点击 系统信息。
在弹出的窗口中,可以看到显卡的详细信息,包括显存大小。
在这里插入图片描述
我这里选择7b,复制右方命令
在这里插入图片描述

切换到CMD窗口,运行此命令

ollama run deepseek-r1:7b

安装完成后,再次输入以上命令,进入交互命令。
在这里插入图片描述
可以直接进行对话了。

可视化交互工具安装

虽然我们可以在本地正常使用 Deepseek 这个模型了,为了更方便的使用,这时我们就可以通过 Cherry Studio这个可视化图文交互界面来使用它。
https://cherry-ai.com/download
如果下载失败,可尝试用手机开启热点。或者在下载博主上传到百度云的文件。提取码:c6on
下载完成,双击安装即可。

配置Ollama地址

在这里插入图片描述
点击管理,选择对应版本,点击+号
在这里插入图片描述
点击检查,进行连接测试
在这里插入图片描述

显示连接成功
在这里插入图片描述

对话

接下来切换到deepseek-r1即可。
在这里插入图片描述

然后可以进行对话了,在未联网的环境下,也可以正常问答。
在这里插入图片描述

Logo

欢迎加入我们的广州开发者社区,与优秀的开发者共同成长!

更多推荐