目录

友情提示

Ollama下载与安装

方式一

方式二

deepseek模型下载

补充

---

友情提示

如果想让deepseek充分利用GPU，请参考我上一篇文章，先把CUDA安装好，再进行本篇文章的操作，如果顺序搞反，容易把电脑搞崩掉，因为使用的只是CPU，亲测闭坑！

Ollama下载与安装

什么是Ollama，可以理解为集成的模型平台，我们本地下载的基本是平台蒸馏好的模型，下载原生大模型不是一两台机器能搞定的事情，这里不过多介绍

方式一

ollama 官网地址：https://ollama.com/

慢的想自杀，所以建议使用第二种

方式二

https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe

直接把下载链接复制，使用下载器下载

在安装完成后，打开cmd，输入ollama，如看到以下命令，说明安装成功：

此时打开浏览器，输入http://localhost:11434，可以看到“Ollama is running”的页面，说明Ollama的服务已经启动了。

deepseek模型下载

进入ollama的模型页面：library

我们选择排名第一位的deepseek-r1,我本地的显卡为3090，显存24，内存64，尝试下载32b的模型

接下来就是漫长的等待...

创建自己的模型

创建一个ModelFile文件，名字随意，输入以下参数：

FROM deepseek-r1:32b               # 选择本地大模型，如果没下载自动下载
PARAMETER temperature 1        #范围为0-1,0比较一板正经，1更接近于真人
PARAMETER num_ctx 1024        #设置使用下一个token的上下文窗口大小
PARAMETER mirostat_eta 0.5     #影响算法对生成文本的响应速度，默认值为0.1
PARAMETER top_k 60         #减少生成无意义内容的概率，值越高答案越多样，默认值为40
PARAMETER top_p 0.95      #较高的值会使得生成文本更丰富，默认值为0.9
SYSTEM """                           #提示词，可随意设置
你是一个我的个人助手，在回答问题时使用网红大哥远的语气来回答问题。
"""

完整的参数说明可以参考官方文档：https://github.com/ollama/ollama/blob/main/docs/modelfile.md

使用刚写好的ModelFile来创建自己的模型

ollama create <模型名> -f <ModelFile全路径>

补充

开启命令

ollama run deepseek-r1:xb

退出命令

/bye