大家好我是木木,自从2022年11月30日OpenAI发布ChatGPT后,大模型迅速火热起来,人工智能作为当下最火的行业之一,2025年春节期间DeepSeek R1模型大火,它的性能达到OpenAI的o1水平,但是成本只有OpenAI o1的10%不到。接下来我们开始本地部署DeepSeek R1体验它的效果。

环境与工具准备

Windows10系统以上 + Ollama + CPU + GPU(可选)+Chatbox AI

Ollama

是一款专注于本地化运行大模型的开源工具。不安装它的话无法本地运行DeepSeek R1模型

支持Windows10及以上系统、macOS、Linuxs系统

安装

下载地址:Ollama

根据自己的需求下载软件,本次使用Windows进行演示。

打开安装包点击“install”进行安装

检查安装是否成功:命令行(win+r)输入cmd,输入ollama -v命令,提示下面的信息说明安装成功。

CPU

大模型进行交互我们提出的问题需要模型进行推理给出答复,基本情况下都是使用GPU进行推理,如果没有GPU,退而求其次可以使用CPU不过模型的运行流畅度会差点。

CPU建议至少16G内存,如果低于这个配置,大模型进行推理运行效果会很慢或者是直接运行不起来。

GPU显卡

GPU可以实现高性能的科学计算,目前大模型底层都是使用GPU进行训练推理。

推荐:最好用GPU进行模型推理,不过没有GPU显卡使用CPU也可以。

DeepSeek R1有很多不同大小模型,下面说下不同大小模型建议GPU显卡大小:

1.5B 模型 建议至少4GB显存

7B\8B 模型 建议至少8GB显存

14B 模型 建议至少12GB显存

32B 模型 建议至少24GB显存:一块4090显卡

70B 模型 建议至少48-96GB显存:1块H100显卡

671B 模型 建议至少960GB显存:10块以上H100显卡

一般来说我们自己本地想要体验使用32B及32B以下的模型就可以了,模型太大的化成本太高除非企业内部为了安全需要本地部署或者你自己不差钱,要不还是去官网体验满血完整版DeepSeek R1吧(目前该模型太火热,使用过程中经常会出现模型太忙请稍后访问,出现这种情况多刷新几次即可)。

Chatbox AI

Chatbox AI是一款客户端桌面AI助手,可以实现图形化聊天工具。类似于使用微信界面跟大模型进行交互。

本地部署DeepSeek R1大模型

1、进行Ollama官网:Download Ollama on macOS 

2、搜索DeepSeek R1模型

3、进入到DeepSeek R1大模型页面,可以下拉选择各种大小模型根据上面GPU使用推荐和本地环境硬件的情况进行选择下载。

下图可以看到不同模型大小的模型,它的模型文件就要占用不小的磁盘空间,像最大的也就是目前官网使用的单一个模型文件占用404G硬盘大小。

博客主因为显卡问题下载的是1.5B模型。

3.1:打开电脑命令窗口,也可以用快捷键win+R输入cmd

复制步骤3上图的命令:ollama run deepseek-r1:1.5b 到cmd窗口,回车,开始下载,下载的时间较长,慢慢等待下载完成(下载期间可以看看下面的操作步骤)。

此处模型下载并运行成功可以和模型进行交互聊天。

3.2:下图可以看到博客主提出的问题和大模型给出的答复交互过程。

到此我们本地模型下载部署完成,可以尽情体验。

本地部署DeepSeek R1模型常见问题

1、下载完的模型默认存储位置

答:

Windows系统模型模型下载到C:Users\你的电脑用户名\.ollama目录下

2、上面部署操作发现下载完模型后,模型直接可以使用,那么每次使用模型都要进行下载吗?

答:

不用的,只要按照部署操作操作下载一次即可一直使用。

3、下载完后,如何再使用DeepSeek R1

答:

使用命令和下载命令一样:打开命令行输入下面的命令

ollama run deepseek-r1:1.5b

deepseek-r1:1.5b是本地模型的名称,根据实际情况进行填写

4、问题三中deepseek-r1:1.5b名称在哪来可以看到?

答:打开命令行窗口,输入:ollama list,可以看到已经下载完的本地DeepSeek R1大模型的列表信息

5、输入ollama list和ollama run deepseek-r1:1.5b发现提示:“xxx”不是内部命令

答:

确保是否安装ollama软件,查看ollama软件是否安装成功,命令行输入:ollama -v

如果没有安装查看上面的Ollama安装说明进行安装

或者是软件是否启动:

启动软件

启动完后任务栏右下角会有一个图标

可视化图形工具-Chatbox AI

上面部署完后发现都是在命令行进行操作,使用体验不是很好,怎么办了,我们可以通过ChatBox AI实现可视化界面操作。

Chatbox AI安装

安装地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

双击软件安装,下一步下一步即可。

安装完成后打开软件,选择“使用自己的API Key或本地模型”

选择对应的模型,此处我们选择“Ollama API”

API域名:默认即可

模型:最开始没有,点击下拉框,会自动加载本地已有的模型,选择对应的模型,点击“保存”。

点击“新建对话”,就可以继续很好的体验DeepSeek R1大模型了。

使用Chatbox AI的一些使用问题

1、可以通过“编辑”信息设置模型的对话风格信息,比如在编写商务报告时,可设置正式严谨的风格。

2、有些人打开Chatbox AI没有 下图 选项或者想要设置其他的模型,如何设置?

答:

如下图,点击“设置”,选择对应的模型。

祝大家开工大吉,慢慢体验DeepSeek R1模型的卓越性能与独特魅力。

 

Logo

欢迎加入我们的广州开发者社区,与优秀的开发者共同成长!

更多推荐