本文介绍了如何在MacBook Pro上本地搭建大模型，主要使用Ollama大模型管理工具和Open WebUI，通过Docker容器部署Llama3.1模型，详细步骤包括安装Ollama、下载并运行模型、配置Docker镜像加速、安装Open WebUI等，适合对AI感兴趣的新手学习和实践。

---

背景

随着行业内越来越多的AI产品落地，很多同学都对AI技术产生浓厚的兴趣，但苦于目前动作几十G上百G的大模型，并且手上的消费级电脑也无法满足各种模型部署运行要求，本文就是基于此背景，介绍如何使用Mac Book Pro本地搭建大模型的入门教程，希望能帮助到对AI有兴趣的同学。毕竟不管什么岗位，如果能自己搭个Demo进行AI相关的学习，也不失为一种AI入门方式。
纸上谈兵终觉浅，绝知此事要躬行，正好借着9月OpenAI最新发布的o1大模型，写一个本地模型部署指南，本人电脑是Mac Book Pro M3 18G机器搭建，M1、M2的机器也是可以的。

方案选择

首先解释一下什么是模型量化

• 模型量化是做什么的:
  模型量化是将浮点数值转化为定点数值，同时尽可能减少计算精度损失的方法。
• 为什么要做模型量化:
  模型量化既能减少资源消耗，也能提高运行速度，使大规模推理服务的性能提升。
• 对哪些数值做量化:
  可以对模型参数（weight）、激活值（activation）或者梯度（gradient）做量化。
• 常见的量化精度有哪些:
  通常可以将模型量化为 int4、int8 等整型数据格式。

目前部署大模型的方式，基本分为两种方案：

1. 下载原始大模型，然后通过相应的模型量化脚本，将量化后的模型进行本地环境部署，此种方式，下载原始模型费时费力，量化后的模型也不见电脑能带的动，需要不断调整量化参数quantization types，对新人不太友好
2. 通过Ollama大模型管理工具，一键式部署量化后的LLM模型，本文也是主要介绍此种部署方式，直接通过的Ollama拉取的llama3.1模型信息如下，通过Open WebUI部署运行非常轻松，开着IDE+几十个Chrome页面毫无压力

量化后的模型信息

运行效果

Llama3.1

Llama3.1是Meta公司在7月最新发布的LLM模型，分为三个版本8B、70B、405B，有兴趣的同学可以直接去官网了解。
llama.meta.com/
github.com/meta-llama/…

Ollama

Ollama是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。 通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。 此外，Ollama还支持多种机器学习框架，如TensorFlow、PyTorch等，使得你可以根据自己的需求选择合适的框架进行模型的训练
官网：ollama.com/

下载安装Ollama

下载安装后，在终端运行
ollama -v
能正常显示版本号即为安装成功

下载安装量化后的Llama3.1

确定Ollama已安装成功后，在终端运行如下代码，Ollama首次会将模型远程下载，并在下载完成后启动
ollama run llama3.1

下载过程还比较顺利，下载完成后，终端会启动大模型，可以直接在终端进行对话问答了，是不是很简单？
但在终端里面进行AI问答，看起来没那么方便，所以我们可以通过Docker+Open WebUI的方案来实现本地Web UI管理调试大模型

Docker

Docker Desktop 是 Docker 提供的一个方便的工具，适用于 Windows 和 macOS 平台。它包含了 Docker Engine、Docker CLI 客户端、Docker Compose、Kubernetes 和其他工具，使开发人员可以在本地计算机上使用 Docker 容器进行开发和测试。
官网：www.docker.com/products/do…

Open-WebUI

Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI，旨在完全离线操作。 它支持各种LLM运行程序，包括Ollama和OpenAI兼容的API。
官网：www.openwebui.com/

具体特性可以查看
github：github.com/open-webui/…

当Docker安装完成后，可以通过命令在线安装open-webui，但安装之前，需要注意的是，最好在docker设置中配置镜像地址，否则下载速度非常感人，无法预计什么时候能下载成功

配置registry-mirrors

直接覆盖即可，我也没测试其中的镜像速度，如果自己有稳定的镜像地址，可以自行替换
{ "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } }, "experimental": false, "registry-mirrors": [ "https://hub-mirror.c.163.com", "https://docker.m.daocloud.io", "https://ghcr.nju.edu.cn", "https://mirror.baidubce.com", "http://dockerhub.azk8s.cn", "https://mirror.ccs.tencentyun.com", "https://docker.mirrors.ustc.edu.cn", "https://docker.nju.edu.cn", "https://2h3po24q.mirror.aliyuncs.com" ] }

安装命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在经过了漫长的等待后，是的，你没看错，用了镜像也不怎么快，没用镜像之前基本就是失败。。。

启动

• 安装完成后，即可在Docker中启动WebUI了，等待片刻后，浏览器输入http://localhost:3000/即可进入 ，如果需要提供给其他局域网中的小伙伴访问，可以找到自己的局域网IP地址，如 30.7.229.xx:3000/
• 首次进入的时候，需要注册账户，因为注册逻辑是在本地，只需要记住自己的账户密码即可，无需要验证码，首次注册的账号是管理员账号
• 进行后选择之前下载的Llama3.1模型后，即可开始模型的测试了

最后附几道测试题结果，目前看起来，Llama3.1的中文理解推理能力还是有待提升的

2026年AI行业最大的机会，毫无疑问就在应用层！

字节跳动已有7个团队全速布局Agent

大模型岗位暴增69%，年薪破百万！

腾讯、京东、百度开放招聘技术岗，80%与AI相关……

如今，超过60%的企业都在推进AI产品落地，而真正能交付项目的 大模型应用开发工程师 **，**却极度稀缺！

落地AI应用绝对不是写几个prompt，调几个API就能搞定的，企业真正需要的，是能搞定这三项核心能力的人：

✅RAG：融入外部信息，修正模型输出，给模型装靠谱大脑

✅Agent智能体：让AI自主干活，通过工具调用（Tools）环境交互，多步推理完成复杂任务。比如做智能客服等等……

✅微调：针对特定任务优化，让模型适配业务

目前，脉脉上有超过1000家企业发布大模型相关岗位，人工智能岗平均月薪7.8w！实习生日薪高达4000！远超其他行业收入水平！

技术的稀缺性，才是你「值钱」的关键！

具备AI能力的程序员，比传统开发高出不止一截！有的人早就转行AI方向，拿到百万年薪！👇🏻👇🏻

AI浪潮，正在重构程序员的核心竞争力！现在入场，仍是最佳时机！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

⭐️从大模型微调到AI Agent智能体搭建

剖析AI技术的应用场景，用实战经验落地AI技术。从GPT到最火的开源模型，让你从容面对AI技术革新！

大模型微调

• 掌握主流大模型（如DeepSeek、Qwen等）的微调技术，针对特定场景优化模型性能。

• 学习如何利用领域数据（如制造、医药、金融等）进行模型定制，提升任务准确性和效率。

RAG应用开发

• 深入理解检索增强生成（Retrieval-Augmented Generation, RAG）技术，构建高效的知识检索与生成系统。
• 应用于垂类场景（如法律文档分析、医疗诊断辅助、金融报告生成等），实现精准信息提取与内容生成。

AI Agent智能体搭建

• 学习如何设计和开发AI Agent，实现多任务协同、自主决策和复杂问题解决。
• 构建垂类场景下的智能助手（如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等）。

如果你也有以下诉求：

快速链接产品/业务团队，参与前沿项目

构建技术壁垒，从竞争者中脱颖而出

避开35岁裁员危险期，顺利拿下高薪岗

迭代技术水平，延长未来20年的新职业发展！

……

那这节课你一定要来听！

因为，留给普通程序员的时间真的不多了！

立即扫码，即可免费预约

「AI技术原理 + 实战应用 + 职业发展」

「大模型应用开发实战公开课」

👇👇

👍🏻还有靠谱的内推机会+直聘权益！！

完课后赠送：大模型应用案例集、AI商业落地白皮书