我把大模型搬回了家:零基础本地部署 DeepSeek / Qwen,全程不用显卡


在这里插入图片描述


📝 文章摘要

本文是一篇零基础本地部署大模型的实战教程,全程无需显卡、不花一分钱,数据完全不出电脑。文章以 Ollama 为核心工具,手把手带你完成以下五步:

  1. 安装 Ollama:覆盖 Windows / macOS / Linux 三种系统的安装方式,并附验证命令。
  2. 运行 DeepSeek-R1:一条命令 ollama run deepseek-r1:1.5b 即可下载并启动模型,进入对话模式。
  3. 实测演示:展示中文理解、推理能力(DeepSeek-R1 招牌)、写代码等真实场景,并介绍对话快捷键与一次性提问方式。
  4. 多模型切换:进阶玩法,教你换用通义千问 Qwen,以及 pull / list / ps / rm 等模型管理命令。
  5. 图形界面与排错:提供 Ollama 自带桌面应用、Open WebUI、AnythingLLM 三种 GUI 方案,并整理新手最常遇到的 6 个坑及解法。

读完本文,你就能在自己的电脑上拥有一个免费、私密、离线可用的本地大模型,还能进一步把它接入代码助手、本地知识库(RAG)或自己的项目。


🎯 写在前面:为什么你该把大模型「搬回家」

你是不是也经历过这些瞬间——
想调个 API 玩玩,一看计费页面:按 token 收费,写着写着心里在算钱;想让 AI 帮你改一份还没交的毕业论文、一段公司内部的代码,手指停在「粘贴」上不敢按,怕数据被传上云;想跟着教程学一学,结果第一句就是「请准备一张 24G 显存的显卡」,而你的电脑是一台核显轻薄本。。

于是这件事就被无限期搁置了。
今天我们把这三座大山一次推平:不用显卡、不花一分钱、数据全程不出你的电脑。你需要的只是一台 Windows 或 macOS 电脑、8G 内存、大约 3G 硬盘空间,以及接下来的 10 分钟。。
我们用的工具叫 Ollama——你可以把它理解成「大模型的应用商店 + 播放器」:一条命令下载模型,一条命令跑起来,剩下的显卡调度、内存分配、量化加载它全帮你干了。跑的模型是 DeepSeek-R1 和 Qwen(通义千问),都是真正开源、能下载到本地的模型,不是套壳网页版。。
全程我把每个命令都写成可以直接复制粘贴的形式,把新手最容易卡住的坑单独开了一节。跟着做,你不会失败。 走,开始。。


🧐 一、本地跑大模型,到底香在哪?在动手之前,先花一分钟搞清楚「为什么」,你才知道后面每一步是在为什么服务。务。

维度用云端 API / 网页版本地部署(今天要做的)
💰 花钱按 token 计费,用多少付多少0 元,只耗电和硬盘
🔐 隐私数据要发到别人的服务器数据只在你自己电脑里,断网也能聊
📶 网络必须联网,还可能排队/限流首次下载需要网,之后纯离线可用
🎮 硬件不用管有显卡更快,没显卡也能跑小模型
🛠️ 自由度受平台限制想换模型换模型,想接进自己项目就接

四句话总结:免费、私密、离线、可折腾。

尤其是「数据不上云」这一条,对写论文的学生、处理内部代码的开发者来说,价值比省下的那点 API 费用大得多。

⚠️ 也必须说句实话,避免期望落空:本地小模型 ≠ 满血 GPT/DeepSeek 线上版。1.5B 参数的模型(后面会讲这是什么意思)在推理、知识量上肯定不如云端千亿参数的大家伙。它的定位是:免费的、随手可用的、绝对私密的日常小助手——写文案、改语病、解释代码、翻译、整理笔记、做基础问答,完全够用。心里有这个预期,你会玩得很开心。


🧰 二、动手前的准备清单(30 秒自查)

先确认你的机器够不够,别下到一半才发现内存不够。

系统要求

Windows

  • Windows 10 / 11,64 位(这是硬性要求,32 位系统不支持)
  • 内存(RAM):建议 8G 以上。8G 可以流畅跑 1.5B 小模型;16G 才建议上 7B/8B
  • 硬盘:预留 10G 以上空间(模型本身 1~5G,加上程序和缓存)
  • 显卡:没有也行! Ollama 会自动用 CPU 跑。有 NVIDIA 独显(4G 显存以上)会自动加速

macOS

  • macOS 12 及以上(官网标注以下载页为准)
  • M 系列芯片(M1/M2/M3/M4)体验极好:统一内存架构,8G 内存的 M 芯片跑 1.5B 模型非常顺,16G 跑 7B 也很稳
  • Intel 芯片的老 Mac 也能跑,但速度会明显慢一些,建议只上 1.5B

Linux(Ubuntu 20.04+ 等)也完全支持,命令我会一并给出。

一个小建议:C 盘紧张的同学看这里

模型文件默认会存在系统盘(Windows 在 C:\Users\你的用户名\.ollama),动辄好几个 G。如果 C 盘吃紧,先记住这一点,第八节「排错专区」里我会给出改模型存储路径的具体命令。


🚀 三、步骤一:安装 Ollama(3 分钟)

Windows 用户

方式 A:图形化安装(推荐所有新手用这个)

  1. 浏览器打开网址
  2. 点击 Download for Windows,下载 OllamaSetup.exe
  3. 双击运行,一路「下一步」,不需要改任何选项
  4. 安装完成后,Ollama 会自动在后台启动(右下角托盘区能看到一个羊驼图标 🦙)

💡 想装到别的盘(不占 C 盘)?在下载目录打开 PowerShell,执行:

.\OllamaSetup.exe /DIR="D:\Ollama"

方式 B:命令行安装(懂点命令的可以用)

以管理员身份打开 PowerShell,执行:

winget install Ollama.Ollama

或者用官方脚本:

powershell -c "irm https://ollama.com/install.ps1 | iex"

macOS 用户

方式 A:官网下载

打开网址 → 点 Download for macOS → 下载得到 .dmg 或 .zip → 打开后把 Ollama 拖进「应用程序」文件夹 → 在启动台里点开它一次(首次运行系统会问你要不要允许,点允许)。

方式 B:Homebrew(装过 brew 的同学)

brew install ollama

Linux 用户

终端一条命令:

curl -fsSL https://ollama.com/install.sh | sh

✅ 验证安装是否成功(这一步别跳过!)

Windows 按 Win + R,输入 powershell 回车(macOS 按 Command + 空格 搜索「终端」并打开),然后复制粘贴这条命令:

ollama --version

如果屏幕上打印出类似这样的版本号,恭喜你,第一步稳了:

ollama version is 0.32.14

📌 关于版本号:我写这篇文章时(2026 年 8 月),Ollama 的最新稳定版是 v0.32.x 系列(v0.32.14)。你看到的数字大概率比我的更新,这完全正常,以官网为准,只要能打印出版本号就算成功。

如果它报「无法识别 ollama 这个命令」,别慌,关掉这个窗口重新开一个(环境变量需要新窗口才生效),90% 的情况这样就好了。还不行的话,去第八节找「命令找不到」那一条。

在这里插入图片描述


🐣 四、步骤二:把 DeepSeek 拉回家并跑起来(核心步骤)

先花 30 秒搞懂:1.5b / 7b / 8b 是什么意思?

你会看到模型名字后面跟着 1.5b、7b、8b、14b……

b = billion(十亿),指参数量。 参数越多,模型越「聪明」,但也越大、越吃内存、跑得越慢。这就是一个「智商 vs 你的电脑」的权衡。

下面这张表是我按 Ollama 官方模型库的实际体积整理的,照着这张表选,不会翻车:

模型标签下载体积建议内存适合谁
deepseek-r1:1.5b约 1.1 GB8G 内存即可,纯 CPU 能跑✅ 所有新手从这里开始
deepseek-r1:7b约 4.7 GB16G 内存 / 6G 显存日常聊天、写代码、写文案
deepseek-r1:8b约 5.2 GB16G 内存 / 8G 显存综合体验更好,是默认标签
deepseek-r1:14b约 9.0 GB32G 内存 / 12G 显存复杂推理、数学、长文本
deepseek-r1:32b约 20 GB64G 内存 / 24G 显存有好显卡的进阶玩家
deepseek-r1:70b / 671b43 GB / 404 GB服务器级别🙅 别在笔记本上想它

💡 一个经验公式:建议内存 ≈ 模型体积 × 2,再留 2~4G 给系统。1.1G 的模型在 8G 内存机器上非常从容。

开跑!一条命令搞定

在刚才那个 PowerShell / 终端窗口里,粘贴执行:

ollama run deepseek-r1:1.5b

这条命令干了三件事:检查本地有没有这个模型 → 没有就自动从官方仓库下载 → 下载完直接进入对话模式。

你会看到滚动的下载进度:

pulling manifest
pulling aabd4debf0c8... 100% ▕██████████████▏ 1.1 GB
pulling c5ad996bda6e... 100% ▕██████████████▏  556 B
verifying sha256 digest
writing manifest
success
>>>

看到最后那个 >>> 提示符,就说明模型已经在你电脑上跑起来了。这一刻,你的笔记本就是一台 AI 服务器。

⏳ 下载慢是正常的(服务器在国外)。1.1G 大概几分钟到十几分钟,支持断点续传,中断了重新执行同一条命令即可接着下。嫌慢的看第八节第 1 条。

在这里插入图片描述


💬 五、步骤三:真的能聊天、真的能写代码(实测演示)

在 >>> 后面直接打字,回车就行。来试几个「验货」的问题。

试试中文理解

>>> 用三句话向一个完全不懂技术的人解释什么是大语言模型

试试它的推理能力(DeepSeek-R1 的招牌能力)

>>> 一个农夫有 17 只羊,除了 9 只以外全都死了,还剩几只活的?

DeepSeek-R1 是推理型模型,它会先输出一段「思考过程」(终端里通常显示为 Thinking... 或包裹在思考标签里的内容),然后才给结论。你能亲眼看到它是怎么一步步推的——这是它最好玩的地方,也是它比同尺寸普通模型更擅长做数学题、逻辑题的原因。

试试写代码

>>> 用 Python 写一个函数,判断一个字符串是不是回文,并加上注释和测试用例

几秒钟后代码就一行行吐出来了。注意此刻你可以把 WiFi 关掉,它照样能回答——因为一切都发生在本地。这个体验建议你亲手试一次,很上瘾。

对话模式里的实用快捷键

操作命令 / 按键
退出对话输入 /bye,或按 Ctrl + D
打断正在输出的回答Ctrl + C
查看可用的斜杠命令输入 /?
清空当前上下文重新开始输入 /clear

不进对话模式,一次性提问

不想进入交互界面,只想问一句就走?把问题直接跟在命令后面(适合写脚本):

ollama run deepseek-r1:1.5b "帮我把这句话改得更书面化:这个方案我觉得不太行"

在这里插入图片描述


🔄 六、步骤四(进阶):换成通义千问 Qwen,玩多模型切换

Ollama 最爽的一点:模型可以随便换,还能同时装好几个。DeepSeek-R1 擅长推理,而 Qwen(通义千问)是阿里开源的模型,中文语感和日常对话非常自然,特别适合写文案、聊天、做翻译。

只下载不运行

ollama pull qwen2.5

pull 和 run 的区别:pull 只下载(适合先把模型囤好,晚点再用),run 是下载完立刻开聊。

Qwen 的尺寸怎么选

Qwen2.5 系列(成熟稳定,中文强):

标签体积备注
qwen2.5:0.5b约 398 MB极限轻量,老机器救星
qwen2.5:1.5b约 986 MB✅ 8G 内存首选
qwen2.5:3b约 1.9 GB平衡之选
qwen2.5:7b约 4.7 GB默认标签(qwen2.5 就等于它)

Qwen3 系列(更新的一代,标签有 0.6b / 1.7b / 4b / 8b / 14b / 32b 等):

ollama run qwen3:4b

📌 模型库更新很快,具体有哪些标签、体积多大,以官方模型库页面为准:https://ollama.com/library。想看某个模型的全部标签,直接访问 ollama.com/library/模型名。

模型管理三件套(很实用,建议收藏)

# 看看我本地一共装了哪些模型、各占多大
ollama list

# 看看现在有哪个模型正占着内存在跑
ollama ps

# 删掉不想要的模型,释放硬盘
ollama rm qwen2.5:7b

装了多个模型后,切换就是换一下 run 后面的名字而已:

ollama run qwen2.5:1.5b        # 聊天、写文案 → 用千问
ollama run deepseek-r1:1.5b    # 做题、讲逻辑 → 用 R1

🖼️ 七、步骤五(加分项):不想碰命令行?给它套个图形界面

黑底白字确实不够亲切。三个方案,从易到难,按你的耐心选。

方案一:Ollama 自带桌面应用(最简单,0 配置)⭐ 推荐新手

好消息:你其实已经装好了。Ollama 从 v0.10.0 起就在 macOS 和 Windows 上内置了官方图形界面。

在开始菜单 / 启动台里打开 Ollama 应用,你会看到一个类似 ChatGPT 的聊天窗口:

  • 顶部下拉框选择模型(你 pull 下来的模型都在里面)
  • 输入框直接聊天
  • 支持把 PDF / txt / md 文件拖进对话框,让模型读文件、做总结
  • 设置里可以调整上下文长度(调大能「记住」更多内容,但更吃内存,按自己机器量力而行)

命令行和 GUI 共用同一套模型数据,你在终端下载的模型,界面里立刻就能用。如果你只是想聊天,看到这里就够了。

方案二:Open WebUI(功能最全,像自建一个 ChatGPT)

想要多会话管理、历史记录、上传文档做知识库、多用户登录?装 Open WebUI。它是目前最主流的 Ollama 前端。

最简思路(Docker 一条命令),前提是电脑已装好 Docker Desktop:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后浏览器打开 http://localhost:3000,注册一个本地管理员账号(纯本地存储,不联网),就能在网页里跟本地模型对话了。

不想装 Docker? 用 Python 装(需要 Python 3.11):

pip install open-webui
open-webui serve

启动后访问 http://localhost:8080。

💡 小提示:这两条命令里的参数不用理解,照抄即可。-v open-webui:/app/backend/data 这段千万别删——它负责保存你的聊天记录。首次启动镜像有 1~2G 要下载,耐心等几分钟。具体参数以 Open WebUI 官方文档为准。

方案三:AnythingLLM(主打「和我的文件对话」)

如果你的核心需求是把一堆 PDF、Word、笔记丢进去,然后向它们提问(也就是搭个人本地知识库),AnythingLLM 更对味。它有开箱即用的桌面版:下载安装 → 在设置里把大模型提供方选 Ollama → 地址填 http://localhost:11434 → 建一个工作区,把文件拖进去 → 开始问。

全程本地,你的资料不会离开这台电脑。


🩹 八、小白排错专区(卡住了就来这里翻)

这一节是全文最值得收藏的部分。我把新手最常撞的 6 个坑和解法都列在这。

❶ 模型下载特别慢,甚至几十 KB/s

原因:模型仓库服务器在国外。

解法:

  1. 先别急着放弃:下载支持断点续传,Ctrl + C 中断后重新执行同一条 ollama pull 命令,会接着下,不会白下。
  2. 换网络:手机热点 / 换个时段(夜间通常更快)经常立竿见影。
  3. 走代理(有代理软件的同学),设好环境变量再下载:
# Windows PowerShell
$env:HTTP_PROXY = "http://127.0.0.1:7890"
$env:HTTPS_PROXY = "http://127.0.0.1:7890"
ollama pull deepseek-r1:1.5b
# macOS / Linux
export http_proxy=http://127.0.0.1:7890
export https_proxy=http://127.0.0.1:7890
ollama pull deepseek-r1:1.5b

(端口 7890 换成你自己代理软件的实际端口。)

  1. 降尺寸:与其死磕 7B,不如先把 1.5B 跑通建立信心,1.1G 快得多。

❷ 提示内存不足 / 电脑卡死 / 模型跑一半崩了

典型报错:out of memory、model requires more system memory,或者电脑风扇狂转直接假死。

解法(按优先级):

  1. 换小一号的模型——这是最有效的一招。14b 换 7b,7b 换 1.5b,或者直接上 qwen2.5:0.5b。
  2. 关掉浏览器和其他大内存应用再跑(Chrome 开 30 个标签页是真的吃内存)。
  3. 用完及时释放内存:
ollama stop deepseek-r1:1.5b
  1. 省内存的两个环境变量(进阶,可减少显存/内存峰值):
# macOS / Linux
export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0

Windows 用 setx OLLAMA_FLASH_ATTENTION 1 设置后重启 Ollama 生效。

❸ 提示「ollama 不是内部或外部命令」/ command not found

原因:环境变量还没在当前窗口生效,或者安装没成功。

解法:

  1. 关掉终端,重新开一个新窗口(解决 90% 的情况)。
  2. 还不行就重启电脑(解决剩下 9%)。
  3. 依然不行:说明没装成功,去官网重新下载安装包装一遍。
  4. Windows 用户可顺手确认服务在跑:任务管理器里找 ollama 进程;或手动执行 ollama serve 启动服务,再开一个新窗口执行 ollama run ...。

❹ C 盘被模型撑爆了

解法:改模型存储路径。Windows 下以管理员身份打开 CMD / PowerShell:

setx OLLAMA_MODELS "D:\AI\OllamaModels"

然后重启电脑(或重启 Ollama 服务)生效。已经下载的模型可以把原目录(C:\Users\你的用户名\.ollama\models)里的内容整体搬到新目录。

macOS / Linux 把 export OLLAMA_MODELS=/你的/路径 写进 ~/.zshrc 或 ~/.bashrc。

❺ 终端里中文显示乱码 / 方块

原因:Windows 老终端的编码问题,跟模型无关。

解法(任选):

  1. 改用 Windows Terminal 或 PowerShell 7(推荐,天然支持 UTF-8);
  2. 在 CMD 里先执行 chcp 65001 切到 UTF-8 编码,再运行 ollama run ...;
  3. 终极偷懒方案:用第七节的图形界面聊天,浏览器和桌面应用永远不会乱码。

❻ 回答很慢,一个字一个字往外蹦

这不是故障,是纯 CPU 推理的正常表现。优化思路:

  • 换更小的模型(1.5B 在多数电脑上都是「能读得下去」的速度);
  • 别一次性丢几千字的长文进去,上下文越长越慢;
  • 插上电源,把系统电源模式调成「高性能」(笔记本省电模式会锁 CPU 频率,影响很明显);
  • 如果有 NVIDIA 独显,确认驱动是新版,Ollama 会自动调用 GPU,速度立刻起飞。

🧪 九、跑通之后,还能怎么玩?

到这一步你已经拥有一个「私人 AI」了。下面几个方向,随便挑一个都能再写一篇博客:

1. 变成你的本地代码助手 🧑‍💻
换成代码专用模型(比如 qwen2.5-coder、deepseek-coder 系列),在 VS Code 里装支持自定义模型的 AI 编程插件(如 Continue、Cline 等),把模型地址指向本地的 http://localhost:11434,就能获得完全免费、代码不外传的补全和问答(具体配置以插件文档为准)。

2. 搭一个本地知识库(RAG)📚
用 Open WebUI 或 AnythingLLM,把你的课件、论文、项目文档全丢进去,然后问「第三章讲了什么」「这个接口的参数含义是什么」。期末复习和交接文档的神器。

3. 用代码调用它,做进自己的项目 🔌
Ollama 启动后本身就是一个本地 API 服务(默认 http://localhost:11434)。最简单的验证方式:

curl http://localhost:11434/api/chat -d "{\"model\":\"deepseek-r1:1.5b\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}"

Python / JavaScript 也有官方 SDK(pip install ollama),几行代码就能把本地模型接进你的小程序、爬虫、自动化脚本里。它还提供 OpenAI 兼容接口,很多现成项目改个地址就能用。

4. 让室友/同事也能用 🌐
设置 OLLAMA_HOST=0.0.0.0 后重启服务,局域网内其他设备访问 http://你的内网IP:11434 就能共用这台机器的模型。(⚠️ 仅在可信的家庭/内网环境下这么做,别暴露到公网。)

5. 做个专属人格的小助手 🎭
用 Modelfile 给模型预设系统提示词(比如「你是一个只说人话、拒绝废话的技术导师」),ollama create 生成自己的定制模型,一劳永逸。


🎬 结语:门槛其实比你想的低得多

回顾一下,你今天只做了三件事:

  1. 装 Ollama(点几下鼠标)
  2. ollama run deepseek-r1:1.5b(一条命令)
  3. 在 >>> 后面打字(就这样)

就这样,一个真正的大模型跑在了你自己的电脑上,不花钱、不上传数据、断网也能用。半年前这还是需要一张几千块显卡才敢想的事。

技术的门槛正在飞快下降,而先动手的人总是先拿到好处。如果这篇文章帮你跑通了第一个本地模型——

👍 点个赞,让更多被「必须有显卡」劝退的同学看到;
⭐ 加个收藏,下次换电脑、重装系统你还会用到这篇(尤其是排错那一节);
💬 评论区告诉我:你的电脑配置是什么?跑的哪个模型?速度如何?卡在哪一步了?我会挨个回复,帮你排错。
🔔 关注一下,下一篇我打算写《用本地模型 + Open WebUI 搭一个私人知识库,把课件全喂给它》,想看的评论区喊一声。

祝你玩得开心。你的第一个本地大模型,从现在开始跑起来了 🚀

✅ 本文命令核实说明:文中所有命令与模型标签均已于 2026 年 8 月联网核对(Ollama 官网与官方模型库、Open WebUI 官方仓库)。Ollama 撰稿时最新稳定版为 v0.32.x(v0.32.14);deepseek-r1 可用标签包含 1.5b / 7b / 8b / 14b / 32b / 70b / 671b;qwen2.5 可用标签包含 0.5b / 1.5b / 3b / 7b / 14b / 32b / 72b;qwen3 包含 0.6b / 1.7b / 4b / 8b / 14b / 32b 等。软件与模型库更新频繁,版本号、体积与标签请以官网为准。

更多推荐