构建本地大模型-安装依赖

环境

• 操作系统：Windows 10 LTSC

• 显卡：英伟达显卡

注意

• nvidia的显卡驱动需要先安装，建议用NVIDIA Studio驱动。
• 可以使用英伟达官方的自动驱动更新软件：官网自动更新下载驱动的软件
• CUDA会随着显卡的驱动安装就安装好了。

安装Pytorch

Pytorch的作用：
1、是一个深度学习框架，用于构建和训练神经网络模型。
2、许多流行的 AI 工具和库是基于 PyTorch 开发的，或者与 PyTorch 兼容。大模型进一步的处理或微调，就需要 PyTorch 作为基础框架。
3、硬件加速：Pytorch利用GPU进行计算加速，这使得在处理大规模数据和复杂模型时，训练速度更快。

安装Pytorch的步骤：
1、cmd输入nvidia-smi，查看显卡信息，

nvidia-smi

右上角 CUDA的版本 CUDA Version:

CUDA Version: 12.1

2、根据显卡CUDA版本，下载对应版本的Pytorch

进入Pytorch官网

根据自己的环境选择合适的版本，下载对应版本的Pytorch

环境	选项
Pytorch	Stable
Your OS	Windows
Package	Conda
Language	Python
Compute Platform	12.1
Run this Command:	复制框中命令并在本机cmd中运行

以上选择的含义是，

• 选择Pytorch的Stable稳定版本
• 选择Windows，其他操作系统同理
• 选择Conda，也可以选择Pip
• 选择Python，因为我们是用Python，所以选择Python
• 选择CUDA 12.1，因为我的显卡是CUDA 12.1，所以选择CUDA 12.1，如果没有显卡，就选择CPU
• Run this Command: 复制框中命令并在本机cmd中运行,下载Pytorch

安装Langchain的依赖库

Langchain的作用
1、LangChain 是一个用于开发语言模型应用程序的框架，它可以帮助开发者将大语言模型LLM与其他数据源和工具结合起来，构建更复杂和强大的应用程序。我在这里使用它与ollama结合使用，实现本地大模型的调用。
2、创建多步骤的任务链，实现复杂的任务，比如Agent（智能体）用LangGraph实现。
3、链接外部数据源，如数据库、API、PDF、CSV等，实现RAG（增强检索）的功能

Langchain的模块

• Model I/O 与大模型进行交互
• Retrieval 检索，从外部数据源检索信息
• Agents 智能体,按照特定的任务链及工具执行任务
• Chains 链，将多个模块组合成一个任务链
• Memory 记忆, 用于存储和检索对话历史，在多次运行中提供连续性
• Callbacks 回调，用于在任务执行过程中获取信息和反馈，可以监控langchain的运行情况，用于优化性能和功能

安装Langchain的步骤
1、cmd输入以下命令，安装Langchain的依赖库:

conda install langchain langchain-core langchain-community langchain-text-splitters langchain-openai langchain-ollama bs4 -y

注意
请在前面用conda安装好的一个python虚拟环境下安装。
安装的时候会自动选择国内的镜像源，不需要魔法。
整个安装时间可能会比较长。

我们该怎样系统的去转行学习大模型 ？

很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习门槛，降到了最低！

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来： 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、大模型系列视频教程（免费分享）

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：我们会去了解大模型的基础知识，以及大模型在各个行业的应用和分析；学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段是我们的AI大模型RAG应用开发工程，我们会去学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，我们会去学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造我们自己的Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，我们会更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调。

L5阶段：专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

​