1.前言

Ollama是一款提供大模型在本地部署运行，共享导出的工具。由于其开源以及便捷性个人可暂时搁置其安全性方面的顾虑，基于Ollama对deepseek蒸馏模型进行本地部署。

2.详细流程

1）在windows下载ollama软件

在浏览器中打开 Ollama 官方网站。点击下载Download，选择windows版本下载。如果下载速度过慢可魔法上网或者b站搜索安装包网盘下载。

注意下载完成后不要直接set up！由于默认安装c盘，需通过命令窗口更改目录，实现指定安装。如果c盘资源充足可以忽略，但建议更改安装位置。（前期尝试虚拟机安装Linux版本遇到诸多困难，于是进行windows本地部署）

新建文件夹命名为Ollama，在下载安装包的路径上方输入cmd打开命令终端，输入代码 :

ollamasetup.exe /DIR=

= 后面加上你的目标路径安装位置，按回车后退出命令窗口。

这样双击安装包后就可以把Ollama安装到指定Ollama文件夹下。

2）模型安装路径更改

尽管我们更改了Ollama的安装路径，但即将部署的本地模型安装路径仍在c盘，需要配置环境变量来进行更改。

在刚才Ollama文件夹下方新建一个ollamaimagers作为模型存放位置。

之后在主页最下方搜索——编辑系统环境变量，点击直接进入。

点击环境变量，在系统变量内找到变量OLLAMA_MODELS与值D:\artAI\ollamaimagers。

！！注意，这里第一次是没有东西的，需要新建，变量名为OLLAMA_MODELS，值为刚才自己新建的ollamaimagers路径粘贴进去。

！设置完环境变量之后要重启电脑，否则环境变量无法生效，模型仍然会下载到c盘。

3）直接下载你想要的模型

重启电脑后便可以无忧无虑地下载了。在Ollama官网点击左上角Models，里面有各种各样的模型提供选择下载。点击deepseek-r1，下拉选择模型，右侧显示复制下载代码。

注意根据自身设备选择模型下载。从ollama pull deepseek蒸馏版本模型，因为模型大小需放于显存中进行本地推理计算，需参考设备显存，防止爆显存。个人选用deepseek-r1:7b蒸馏版模型，大小为4.7GB。（如果你有16GB独显或者更高端显卡可以上14B、32B试一下）

复制右侧代码ollama run deepseek-r1:7b，直接win+R，cmd进入命令窗口，粘贴刚才复制的代码，回车即开始下载模型。

如果下载到最后速度变慢可以ctrl+c暂停运行，再次复制粘贴代码回车，此时可以恢复下载速度。

出现success说明下载成功，可以与你的模型对话了。

4）使用UI软件与本地模型互动

如果觉得程序窗口太单调，或者想进行本地知识库构建等进阶操作，可以使用工具与大模型进行连接。常见的有AnythingLLM、ChatBox等。这里举例Chatbox的安装使用。

官网下载Chatbox.安装包Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载

双击安装包选择好你想要的路径进行安装就行。

安装好进入后会让你进行设置，点击配置本地模型，选择模型提供方为OllamaAPI，模型选择为你下载的对应模型。API域名是自己本地电脑域名127.0.0.1（如上图）。

接下来就可以在漂亮简洁的UI界面下与你的本地大模型问答交互了。