AI教程：AnyThingLLM集成DeepSeek搭建本地的知识库

本文将详细介绍如何利用这两款强大的工具，轻松构建一个开箱即用的私有知识库，无需复杂的代码编写和基础设施搭建，帮助您快速实现智能化的知识管理与问答系统。

AI小白龙*

870人浏览 · 2025-11-14 11:23:48

AI小白龙* · 2025-11-14 11:23:48 发布

在当今数字化时代，企业与个人对高效、安全的知识管理和智能问答系统的需求日益增长。然而，传统的知识库解决方案往往面临成本高昂、部署复杂和隐私保护不足等问题。

幸运的是，随着人工智能技术的飞速发展，我们有了新的选择。通过将 AnythingLLM 与 Ollama 结合，我们可以快速搭建一个具备私有知识库能力的 AI 应用，实现知识的高效存储、检索和智能问答，同时确保数据的安全性和隐私性。

AnythingLLM 简介

AnythingLLM 是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。

主要特性：

多种部署方式

：支持云端、本地和自托管部署。

多用户协作

：支持团队协作，适用于企业知识管理和客户支持。

多模型支持

：兼容 OpenAI、Anthropic、LocalAI 等主流大模型。

多向量数据库支持

：支持 Pinecone、Weaviate 等向量数据库。

多文件格式处理

：支持 PDF、TXT、DOCX 等文件格式。

实时网络搜索

：结合 LLM 响应缓存与对话标记功能，提供高效的文档管理和智能问答能力。

下载与安装

AnythingLLM 提供了 Mac、Windows 和 Linux 的安装包，用户可以直接从官网下载并安装。

安装完成后，首次启动时会提示配置偏好设置。用户可以根据需求进行设置，后续也可以随时修改。

配置 LLM 提供商

在 AnythingLLM 的设置页面，可以通过 LLM 首选项 修改 LLM 提供商。本文使用本地部署的 Ollama 和 qwen2.5:14b 模型。配置完成后，务必点击 Save changes 按钮保存设置。

如果提示上文错误，检查自己的本地Ai模型是否正常使用和运行

脚本启动如下

@echo off
rem 切换到指定目录
cd /d "C:\Users\yangs\AppData\Local\Ollama"
rem 打开资源管理器展示指定目录
start "" "%CD%"
rem 执行特定命令
ollama run deepseek-r1:8b
pause

重新配置和保存相关的模型信息

配置相关的LLM

配置相关的向量库

上传文档

在聊天界面中，用户可以创建多个工作区。每个工作区可以独立管理文档和 LLM 设置，并支持多个会话（Thread），每个会话的上下文也是独立的。

点击上传图标，可以管理当前工作区的知识库。AnythingLLM 支持以下三种方式上传文档：

本地文档上传

：直接上传本地文件。
Web 链接

：通过 URL 上传网页内容。
数据链接

：从 GitHub、GitLab 等平台导入数据。

Documents 界面

在 Documents 界面，用户可以管理已上传的文档，并通过下方的上传按钮或拖拽方式上传新文档。

提示：如果需要上传整个目录及其子目录中的文档，直接将目录拖拽到上传按钮上即可。

Data Connectors

Data Connectors 功能支持从 GitHub、GitLab 仓库或网站爬取数据。用户只需输入仓库地址和 Token，即可导入指定目录或网页内容。

上传示例

以下是一个从 GitHub 仓库导入数据的示例：

输入仓库地址和 Token。
通用 File Ignores 配置导入的目录。
点击导入按钮，等待数据加载完成。

导入完成后，用户可以在 Documents 界面选中文档，并点击 Move to Workspace 将其添加到工作区。

添加到工作区后，点击 Save and Embed，将文档内容转换为向量检索所需的嵌入数据结构。此过程可能会消耗较多 CPU 资源，具体时间取决于文档数量。

查询知识库

将文档添加到工作区后，用户可以通过设置聊天模式调整大模型的回复方式：

聊天模式

：结合 LLM 的通用知识和上传文档的上下文生成答案。
查询模式

：仅基于上传文档的上下文生成答案。

在聊天窗口中，用户可以直接提问。大模型会基于文档内容生成答案，并标注答案来源。

实现基于文档的上下文的问答

回把刚刚上传的文档引用展示出来

问答和chat

使用 Agent 能力

AnythingLLM 支持 AI 代理功能，用户可以通过 Agent 完成特定任务。除了官方提供的默认 Agent（如 Scrape websites），还支持通过社区添加自定义 Agent。

配置 Agent

在设置页面的 代理技能 中，用户可以管理 Agent。默认开启的 Agent 无法关闭，其他 Agent 需要手动启用。

使用示例

以下是一个使用 Scrape websites Agent 的示例：

在聊天界面输入 @agent + 提示词，启动 Agent 会话。

Agent 会通过 Web Scraping 工具爬取指定页面并返回结果。

注意：启动 Agent 会话后，无需每次输入 @agent。退出 Agent 会话可通过切换聊天页面或输入 /exit 命令。

当会话提示 Agent session complete 时，表示已退出 Agent 会话。

结语

通过 AnythingLLM 和 Ollama 的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。

注意：随着知识库中文档数量的增加，回答的准确性可能会受到影响。建议将文档分散到多个工作区，以提高检索效率。

相关链接

AnythingLLM 官网

：https://anythingllm.com/desktop
AnythingLLM 文档：https://docs.anythingllm.com/
总结

以下是通过 AnythingLLM 与 Ollama 结合搭建具备私有知识库能力的 AI 应用的详细步骤：

1. 安装和配置 Ollama注意事项

下载并安装 Ollama：访问 Ollama 官网
安装 DeepSeek 模型：通过 Ollama 安装 DeepSeek 模型，命令如下：

ollama run deepseek-r1:32b

2. 安装和配置 AnythingLLM

下载并安装 AnythingLLM：访问 AnythingLLM 官网

根据操作系统选择对应的安装包进行下载和安装。

3. 创建和配置工作区

新建工作区：在 AnythingLLM 中点击“新建工作区”，为私有知识库创建一个独立的工作区
上传文档：将需要纳入知识库的文档（如 PDF、TXT、DOCX 等）上传到工作区中
生成向量嵌入：点击“Save and Embed”，让模型将文档内容转换为向量嵌入并存储在向量数据库中

4. 配置模型连接

设置工作区模型：
在工作区设置中，选择 Ollama 作为推理后端
更新工作区配置：保存并更新工作区设置

5. 测试和优化

测试知识库：在工作区内输入问题，观察 AI 是否能够基于上传的文档内容生成准确的回答
优化知识库：根据测试结果，调整文档内容或模型参数，以提高回答的准确性和效率

通过上述步骤，您将成功搭建一个结合 Ollama 和 AnythingLLM 的私有知识库 AI 应用，能够基于私有文档生成更精准的答案

搭建总结：通过 AnythingLLM 与 Ollama 构建私有知识库的实践与成果

在当今数字化转型的浪潮中，企业与个人对高效、安全且智能的知识管理工具的需求日益迫切。传统的知识库解决方案往往受限于高昂的成本、复杂的部署流程以及数据隐私问题。然而，借助新兴的人工智能技术，尤其是 AnythingLLM 与 Ollama 的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用，实现了知识的高效存储、快速检索和智能问答，同时确保了数据的安全性和隐私性。

搭建过程回顾

在搭建过程中，我们首先选择了 Ollama 作为底层的模型推理平台。Ollama 提供了强大的模型管理功能，支持多种大语言模型的本地部署，尤其是其对 DeepSeek 模型的良好适配，为我们的私有知识库提供了强大的语言理解和生成能力。通过简单的命令行操作，我们快速完成了 DeepSeek 模型的安装与配置，并确保其能够稳定运行。

随后，我们引入了 AnythingLLM 作为前端交互平台。AnythingLLM 的优势在于其开箱即用的特性，无需编写代码或处理复杂的基础设施问题，极大地降低了搭建门槛。在 AnythingLLM 中，我们创建了独立的工作区，并将需要纳入知识库的文档上传至工作区。通过其内置的嵌入模型（如 nomic-embed-text），我们将文档内容高效地转化为向量嵌入，并存储在向量数据库中，为后续的检索和问答提供了坚实基础。

在配置过程中，我们特别注重模型与知识库的连接优化。通过将 Ollama 设置为推理后端，并在工作区中指定 DeepSeek 模型，我们实现了知识库与语言模型的无缝对接。此外，我们还根据实际需求调整了工作区的参数设置，确保系统在性能和准确性之间达到最佳平衡。

测试与优化

在完成搭建后，我们对系统进行了全面的测试。通过输入一系列与知识库内容相关的问题，我们观察到 AI 能够快速检索到相关文档，并生成准确、详细的回答。这表明我们的私有知识库不仅具备高效的知识检索能力，还能通过语言模型的强大生成能力，为用户提供更加丰富和智能的交互体验。

在测试过程中，我们也发现了一些需要优化的地方。例如，部分文档的嵌入速度较慢，尤其是在处理大文件时。为此，我们尝试了在更高性能的服务器上运行嵌入过程，并对文档进行了拆分和优化，以提高嵌入效率。此外，我们还根据测试结果对知识库的文档结构进行了调整，进一步提升了系统的检索准确性和响应速度。

成果与展望

通过本次实践，我们成功搭建了一个功能完备、安全可靠的私有知识库 AI 应用。该系统不仅能够满足企业内部的知识管理需求，还能为用户提供智能化的问答服务，极大地提高了工作效率和用户体验。更重要的是，整个搭建过程简单高效，无需复杂的开发和运维工作，使得即使是非技术背景的用户也能轻松上手。

展望未来，我们相信随着人工智能技术的不断发展，私有知识库的应用场景将更加广泛。例如，结合机器学习算法，我们可以进一步优化知识库的检索和生成效果；通过引入多模态数据支持，知识库将能够处理图像、音频等多种类型的信息，为用户提供更加丰富的交互体验。此外，随着技术的成熟和成本的降低，私有知识库有望在更多领域得到广泛应用，成为企业数字化转型的重要助力。

总之，通过 AnythingLLM 与 Ollama 的结合，我们不仅实现了一个高效、安全的私有知识库系统，还为未来的技术拓展和应用创新奠定了坚实基础。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇