这几天 Meta 把 LLaMA3 都开源了，反观 OpenAI 的 GPT 系列都已经是闭源产品，可以说 Meta 现在才是AI界的 OpenAI。

如果你对大模型感兴趣，可是还未接触过大模型的话，不用着急，本文带你在自己的笔记本上亲自搭建一个大模型出来。

本文基于 LLaMA2 模型来进行的，可以快速完成搭建并体验。

0. 简单说下背景

大模型我们都不陌生了，但是以 chatGPT 为代表的大模型是闭源的，他们的源代码不开放，我们只能用他们的商业化产品。

好在 Meta(也就是原来的 FaceBook) 开源了他们家的大模型 LLaMa。

之所以叫“大”模型，是因为它的参数量巨大。

以 LLaMa举例子，它开源了 LLaMa-7B， LLaMa-33B 等模型，后面的数字就代表着参数数量。

7B，就意味着参数有 70 亿，但是很多人微调后，发现它的效果却一点也不输拥有几千亿的 chatGPT-3.5 模型。

但是参数量大，就会对计算机的算力有更高的要求，因此很多大模型，基本部署都是要求在 GPU 上进行。

后来有人为了在传统 CPU 电脑上运行大模型，就开发了比较牛的框架，我们今天要用的，就是其中的一个明星产品：llama.cpp 。

它是全部使用 C++ 语言来重写的 llama 项目，不像 python 那样需要依赖大量的包，显的臃肿。

而且这个 C++ 项目可以利用 CPU 的特性，完成模型的极致性能优化。

举个例子：llama.cpp 项目中，针对 Intel CPU 会利用 avx2 向量指令集来做优化。

avx2 指令集有些小伙伴可能不清楚，但是之前看过我写的关于计算机视觉专栏的文章(计算****机视觉从入门到调优)内容的同学肯定知道。

我在小册中就利用 avx2 指令集完成了对 resnet50 这个神经网络的性能优化。

总的来说，llama.cpp 项目不仅可以运行在 CPU 上，而且对于电脑的配置要求也不高。

一般有 4G 以上的内存就够了，这点要求基本上很多笔记本都可以满足要求。

另外需要说明的是，我本身很少用 Windows 和 MacOS 环境做开发，因此本篇文章以 Linux 环境来介绍，并且默认大家熟悉 Linux 操作。

如果没有Linux 环境，可以参考这篇文章快速搭建一个：不用虚拟机，10 分钟快速在 windows 下安装 linux 系统。

至于 Windows 和 MacOS 环境的部署，可以去项目主页查看说明自行完成，llama.cpp 项目主页：github.com/ggerganov/l…

好了，话不多说，我们直接开始，以下 3 步轻松搞定。

1、下载 llama.cpp 源码并编译

以下所有命令均在 Linux Ubuntu 环境下执行。

如果缺少 Linux 命令，使用 `sudo apt-get install` 来安装。

如果缺少 python 包，使用 `pip3 install `命令来安装。

首先，利用 git 下载 llama.cpp 源码。

git clone git@github.com:ggerganov/llama.cpp.git

下载完成后，进入 llama.cpp 目录。

cd llama.cpp

执行 make 命令，完成编译。

make

编译完成后，在 llama.cpp 目录下，会看到一个名称为 main 的可执行文件，这个就是等会要启动聊天的执行文件。

只要网络链接没问题，这一步很快就可以完成。

2. 下载量化后的模型文件

很多文章把这部分讲复杂了，我今天看了一些文章感觉也很吃力，跟别提新手了。

所以这部分我不打算介绍任何知识点，我们不用关心什么是量化操作，直接下载一个已经量化好的模型使用就行。

这一步需要从 huggingface (这是一个专门保存大模型的网站) 下载大模型(主要就是70 亿的参数)。

第一次下载估计很多人都会遇到问题，因此，我直接给出可行的步骤，一定按步骤来做。

复制以下 3 条命令，在 Linux 环境下执行：

pip3 install -U huggingface_hub
pip install -U "huggingface_hub[cli]" 
export HF_ENDPOINT=https://hf-mirror.com

简单来说就是访问 huggingface 的国内镜像网站，而不去访问国外的 huggingface 网站。

执行完上面两步后，执行：

huggingface-cli download TheBloke/Llama-2-7b-Chat-GGUF llama-2-7b-chat.Q4_K_M.gguf --local-dir .

该命令会直接把模型文件下载到执行该命令的目录下，建议以上所有命令都在 llama.cpp 根目录下执行。

从上面的命令中我们可以看出，下载的是 llama-2-7b 模型，也就是有着 70 亿参数的那个模型。

需要说明一下，由于模型文件比较大，这一步下载时间会比较长，耐心等待即可，中途如果有问题可以多尝试几次。

3、开始聊天吧

下载完模型后，就可以直接开始聊天了。

在 llama.cpp 目录下执行：

./main -m llama-2-7b-chat.Q4_K_M.gguf -c 4096 --temp 0.7 --repeat_penalty 1.1 -i

就会进入聊天交互界面，在交互界面里，就开始你的畅聊体验吧，你可以问这个模型任意问题，由它来回答。

比如，我问了一个问题：“Three birds in the tree, i killed one by a gun, how many birds left?”

模型竟然先反问了我一下，确认是不是这个问题，在我回答“yes"后，它才开始回答。

通过以上这 3 步就完成了大模型部署，是不是感觉挺简单的？

需要说明的是，上面的示例中我下载的是 llama-7b 模型，它还不支持中文。

如果你想要进行中文对话，可以去 hugging-face 网站上找一些支持中文的模型来下载，其余的步骤不变。

好啦，今天关于如何在 CPU 上部署大模型的介绍到这，如果体验成功的小伙伴记得回来点个赞哦。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！