一、通过Ollama安装Deepseek本地模型

1、本地安装Ollama软件。

Ollama 是一个开源项目，专注于简化大型语言模型（LLMs）的本地运行与部署。下载网址为“https://ollama.com/download”，选择选择windows安装包。默认安装在C盘，正常安装即可。

2、采用命令行运行，加载deepseek模型。

开始窗口搜索cmd，以管理员身份运行，输入“ollama run deepseek-r1:14b”。输入后开始下载，等待下载完成即可。

不同模型的安装指令，任选其一或多个。对应的硬件配置见后面列表，可以都试试，跑不动了再说。

ollama run deepseek-r1:1.5b

ollama run deepseek-r1:7b

ollama run deepseek-r1:8b

ollama run deepseek-r1:14b

ollama run deepseek-r1:32b

ollama run deepseek-r1:70b

ollama run deepseek-r1:671b

deepseek本地模型及其对应硬件要求（仅供参考），事实是高配的个人台式机电脑也能跑动32b，只是如果显存不足24G会不再调用GPU并只用CPU。

如果进行本地知识库部署，需要再输入以下指令“ollama pull shaw/dmeta-embedding-zh”，直到下载完成。

命令行输入“ollama list”可以查看已安装的Ollama模型。

3、Ollama环境设置，以支持远程调用。

打开“此电脑-右键属性-高级系统设置-高级-环境变量”，最下面点击“新建(W)”，弹出“新建系统变量”弹窗。

系统属性窗口中，变量名输入：“OLLAMA_HOST”, 变量值输入：“0.0.0.0”。保存后，再新建系统变量，变量名输入：“OLLAMA_ORIGINS”, 变量值输入：“*”。

完成这些配置后，远程客户端应该就能够连接到Ollama服务了。调用时只需要提供“Ollama URL”或“API域名”，即“http://localhost:11434”或“http://127.0.0.1:11434”。均表示通过本地主机提供服务。

二、Deepseek配置联网功能

1、方式1——通过浏览器插件配置（常用单台电脑）

以Windows自带的Egde浏览器为例，调用本地Deepseek模型。在Egde浏览器中点击插件图标，点击“获取Microsoft Edge 扩展”，输入“Page assist”，点“获取” “Page Assist - A Web UI for Local AI Models”，

点击新聊天。显示OLLAMA is running即可使用。

在“一般设置-管理网络搜索”中，点击开启“执行简单的网际网路搜索”，聊天页面会增加联网搜索功能按钮。搜索引擎选择“Sogou”或者“Baidu”在国内免费、可用，总搜索结果可以设置“50”，表示输入最多50个联网搜索结果，然后合并你的问题向Deepseek进行联网提问。此时影响Deepseek结果的核心因素就是1）你的问题表述方式2）联网搜索的质量。

所以，这里的使用建议是，采用Firefox、Edge两个浏览器分别配置“Sogou”搜索、“Baidu”搜索，总搜索结果数量可选大一点。

2、方式2——通过Open-WebUI配置（常用多台电脑&手机端）

Open-WebUI适合平日使用多台电脑，以及需要PC端（台式机、笔记本）、移动端（pad、手机）同时使用的人群。与浏览器插件不同的是，Open WebUI的移动端与网页版没有任何区别，对于经常切换使用入口的人十分友好。

自己安装后，或采用别人的平台，注册后以管理员身份登录。只有管理员才能设置联网搜索功能，普通用户只能使用。

选择可用的联网搜索引擎。我用了一个付费的AI搜索引擎。官网“https://bochaai.com/”，目前质量尚可，就是速度一般。正在找更好的搜索引擎。其他引擎需要科学上网和代理设置。

3、联网功能的组合设置

使用者不能科学上网的话。建议2个浏览器分别配置“Sogou”和“Baidu”引擎，然后Open WebUI配置付费的搜索引擎。对同一个问题可以得到不联网的答案、基于Sogou搜索的答案、基于Baidu搜索的答案和基于付费AI搜索引擎的答案，共计4种类型。综合比较后，根据自己的实际使用情况选择使用频率。

使用者可以科学上网的话。除了上述几个布置，可以多配置几个Docker版的Open WebUI，譬如webui-bocha、wenbui-google、webui-bing、webui-duckduckgo。每一个设置一种搜索引擎，测试与自己需求的匹配情况，综合比较后选择使用哪种搜索引擎。

三、通过Docker Desktop配置Open-WebUI和RAGFlow

1、前期环境配置：开启WSL2

①升级Windows版本。

win+R打开运行框，输入cmd回车，输入：“winver”查看系统版本号。WSL2对系统版本有要求，如果内部版本低于19041，需更新到最新的Windows版本。这里的建议是直接升级Win11。

Win10升级进入以下链接“https://www.microsoft.com/zh-cn/software-download/windows10”。

升级后核查版本号是否高于19041。最方便的，还是直接升级到Win11，再核查版本号。

②BIOS页面开启CPU虚拟化。

重启电脑，进入BIOS设置，一般是按F2或者Delete，具体看主板。建议网上搜索下相应品牌和型号的电脑BIOS快捷键。在大多数情况下，虚拟化技术选项会被归类在“Advanced”或类似的界面中。这部分看电脑，不多赘述。

③开启虚拟机功能。

控制面板，打开三个功能项，选中后重启。

或者采用另一种方式。开始页面搜索PowerShell，以管理员身份打开PowerShell中。

运行下面命令，以确保开启适用于Linux的Windows子系统和虚拟机平台配置项。“dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart”以及“dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart”。

一定要重新启动。

④安装WSL2

在PowerShell 中输入以下命令并执行：“wsl --install”。会自动执行安装“Ubuntu”。

也可以通过命令行查看在线版本。“wsl --list --online”。

然后选择命令行“wsl --install Ubuntu-22.04”安装对应版本Ubuntu-22.04。

检查WSL版本升级，命令行“wsl --update”。

设置默认版本为WSL2。命令行“wsl --set-default-version 2”

最后一定核查版本。命令行“wsl -l -v”。VERSION为2。

至此，我们在Windows系统上安装好了一个Linux子系统。

2、安装Docker Desktop

①安装Windows版本的Docker Desktop软件

进入Docker官网 (www.docker.com/) ，下载对应版本并安装。下载最新的。

然后以管理员身份安装。

②拉取镜像，软件较大，比较费时

先PowerShell拉取Open-WebUI的镜像，采用国内镜像源。“docker pull ghcr.nju.edu.cn/open-webui/open-webui:main”。官方镜像为“docker pull ghcr.io/open-webui/open-webui”非常慢。

再拉取RAGFlow的镜像。“docker pull infiniflow/ragflow:v0.16.0”

两个镜像下载完成后。可以看到Open-WebUI是4.46GB，而RAGFlow由好几个镜像组成，总计20GB左右。其他必要镜像后续再下载。

3、安装Open-WebUI

①安装docker版Open-WebUI软件。

采用PowerShell命令行安装。“docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui”。

检查docker desktop界面。如下图，进入“http://127.0.0.1:3000”说明成功了。

进入“http://127.0.0.1:3000”后的效果。点击开始使用，注册管理员账户、密码。

如果本地已经安装Ollama，可以看到已安装的Deepseek。

②配置Open WebUI。

如图进入“管理员面板”。

除了本地部署的蒸馏版Deepseek模型，还可以新增自己的满血版Deepseek API以及不用科学上网的ChatGPT API。

硅基流动的API（支持Deepseek）如下。Prefix ID（提供商名称）为“SiliconFlow”，URL为“https://api.siliconflow.cn/v1”，密钥为“sk-***********”。这三个参数你在自己购买的API服务文档都能找到。

点击保存。

ChatGPT的API如下。我采用了Github上的一个项目，网址如下“https://github.com/chatanywhere/GPT_API_free”。支持国内使用的ChatGPT API，有免费的，也有收费的。免费版支持gpt-4，一天3次；支持gpt-4o-mini，和gpt-3.5-turbo共享一天200次。

收费版参数如下：Prefix ID（提供商名称）为“OpenAI API”，URL为“https://api.chatanywhere.tech”，密钥为“sk-***********”。点击保存。

进入模型，可以看到所有支持的大模型。如下图，只是没选择硅基流动的模型，所有模型加一起有87个。最好是在上一步只添加需要的模型，不然一个个关闭太费劲了。

点击至新的对话界面。可以自由选择模型，进行对话。

Open WebUI安装结束。其他的附带功能请看官方文档“https://docs.openwebui.com/”。

譬如支持调用GPU。需要运行的时候增加“–gpus all”。前提是先安装nvidia-container-runtime,否则当你运行open-webui时会报错：docker: Error response from daemon: could not select device driver “” with capabilities: [[gpu]].

4、安装RAGFlow

需要参考“https://github.com/infiniflow/ragflow”官方文档。

①修改vm.max_map_count参数的值。

运行PowerShell，命令行输入“wsl”进入linux子系统；命令行输入“sudo -i”并输入密码（密码输入过程中命令行无反应），将权限转为root。下图表示已经转为root权限。

命令行“sysctl vm.max_map_count”查询，然后输入命令行“sudo sysctl -w vm.max_map_count=262144”重设。

②下载源代码至本地，并修改参数

点击进入“https://github.com/infiniflow/ragflow”。Code选择Download ZIP。并解压至本地文件夹。

进入docker文件夹，然后右键点击“.env”文件用记事本打开。Crtl F搜索“The RAGFlow Docker image to download”，将需要下载的模型“RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0”取消注释，表示后续采用此模型。这个模型其实就是前面提前下载的模型。

这两个环境参数“HF_ENDPOINT=https://hf-mirror.com”“MACOS=0”同样取消注释。前者表示采用国内镜像Hugging Face，后者表示非mac操作系统，如果是mac，选择“MACOS=1”。

③本地采用docker-compose.yml安装。

进入ragflow-main\docker文件夹，输入cmd。可以直接以管理员身份进入该文件夹。

输入命令行“docker compose -f docker-compose.yml up -d”，表示通过该文件的配置安装并运行RAGFlow。

进入docker desktop检查运行情况。

打开浏览器，输入“localhost”或者“127.0.0.1”或者本地网络IP出现登录页面，表示安装成功。注册管理员账户使用即可。

创建完账户后，添加模型供应商。

④配置模型。

添加Ollama的“chat”模型。模型名称通过查看ollama list查看，填入已有的模型如“deepseek-r1:32b”。基础url采用“http://host.docker.internal:11434”。点击确定，可能需要配置一段时间。

设置系统默认模型。模型比较重要的是聊天模型和嵌入模型。分别选本地部署的“deepseek-r1:32b”和自带的“BAA/bge-large-zh-v1.5”。

基础的设置完成。

⑤加载并解析本地知识库文件。

新增知识库，设置中选择文档语言“中文”或“英文”，按实际来。嵌入模型选large的，解析方法选“General”，其他的参数后续可以根据实际效果调整。

保存后进入数据集。新增文件并点击解析。

解析完成后可以看到。原文件和解析结果，自主确定是否纳入知识库。

⑥新建对话助理。

设置名称譬如“规划法律法规助手”。知识库选择“规划法律法规”。模型设置里，你可以选择使用满血的Deepseek，而不是本地部署的32b蒸馏版Deepseek模型，以获得更快的响应速度和更好的回答质量。

聊天界面如下图，会给出引用的原始图片和解析结果。

⑦多知识库联合搜索。

搜索界面，支持多个知识库联合搜索。

⑧AI Agent配置

AI Agent配置，进阶使用。支持使用“满血版Deepseek+搜索引擎配置+本地知识库”。

RAGFlow功能较多，且正处于迭代升级中。其他内容请参考官方文档“https://ragflow.io/docs/dev/”。

大模型算是目前当之无愧最火的一个方向了，算是新时代的风口！有小伙伴觉得，作为新领域、新方向人才需求必然相当大，与之相应的人才缺乏、人才竞争自然也会更少，那转行去做大模型是不是一个更好的选择呢？是不是更好就业呢？是不是就暂时能抵抗35岁中年危机呢？

答案当然是这样，大模型必然是新风口！

那如何学习大模型 ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：

最先掌握AI的人，将会比较晚掌握AI的人有竞争优势。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

但现在很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习路线完善出来！

在这个版本当中：

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型路线+学习教程已经给大家整理并打包分享出来, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全咨料，放心领取）👈

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、大模型系列视频教程（免费分享）

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

👉CSDN大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全资料，放心领取）👈

​