用LightRAG和Ollama打造本地文档智能问答系统：从TXT到对话式知识库

你是否遇到过这种情况：电脑里存了几百份技术文档、读书笔记或项目报告，急需查找某个具体信息时，却不得不逐篇翻找？现在，只需几行代码，就能让这些静态文档"活"起来——直接向它们提问获取精准答案。本文将手把手教你用LightRAG框架和Ollama的轻量模型，构建一个完全本地的智能问答系统。

1. 环境准备与工具选型

在开始前，我们需要明确技术栈的核心组件。不同于需要联网的ChatGPT，这个方案所有数据处理和模型推理都在本地完成，特别适合处理敏感或私有文档。

核心工具对比表：

工具	作用	优势	推荐版本
LightRAG	文档检索与生成框架	轻量级、支持知识图谱	最新main分支
Ollama	本地大模型运行环境	一键部署、多模型支持	0.1.27+
qwen2.5:3b	中文问答模型	3B参数适合消费级硬件	最新版
bge-m3	文本嵌入模型	支持长文本、多语言	latest

安装步骤简明指南：

1. Python环境：建议3.8+版本，使用venv创建隔离环境：

   python -m venv rag_env
   source rag_env/bin/activate  # Linux/Mac
   # 或 rag_env\Scripts\activate  # Windows
   

2. LightRAG安装：

   git clone https://github.com/HKUDS/LightRAG.git
   cd LightRAG
   pip install -e ".[api]"  # 安装核心功能与API支持
   

3. Ollama部署：

   • 下载对应系统的安装包（官网链接）
   • 运行后执行模型下载：

     ollama pull qwen2.5:3b
     ollama pull bge-m3
     

提示：如果下载速度慢，可配置Ollama镜像源。在终端执行：export OLLAMA_HOST=0.0.0.0 后重启服务。

2. 项目配置实战

核心配置文件lightrag_ollama_demo.py的修改是项目成功的关键。我们重点调整三个部分：

2.1 模型连接配置

找到initialize_rag()函数，修改以下参数：

llm_model_name=os.getenv("LLM_MODEL", "qwen2.5:3b"),  # 指定使用的对话模型
llm_model_kwargs={
    "host": os.getenv("LLM_BINDING_HOST", "http://localhost:11434"),  # Ollama本地服务地址
    "options": {"num_ctx": 4096},  # 上下文窗口大小
    "timeout": int(os.getenv("TIMEOUT", "60000")),  # 超时设置(毫秒)
}

2.2 文档路径设置

在文件开头添加本地文档目录声明：

WORKING_DIR = "./my_documents"  # 替换为你的文档文件夹路径
TEXT_FILE = "notes.txt"  # 目标文本文件名

2.3 性能优化参数

根据硬件调整以下值：

llm_model_max_token_size=4096,  # 最大token数（显存不足时可降低）
embedding_func=EmbeddingFunc(
    embedding_dim=1024,  # 向量维度（保持与bge-m3一致）
    max_token_size=2048,  # 单段文本最大长度
)

注意：8GB显存设备建议将num_ctx设为2048，16GB以上可尝试8192。遇到内存错误时，优先降低这两个参数。

3. 文档处理与知识库构建

系统启动后会自动处理指定文档，这个过程分为三个阶段：

1. 文本分块：将长文档按语义切分为300-500字的段落
2. 向量化：用bge-m3模型生成每个文本块的嵌入向量
3. 索引构建：建立支持快速检索的向量数据库

常见问题排查表：

现象	可能原因	解决方案
启动时报连接错误	Ollama服务未运行	执行ollama serve
处理速度极慢	CPU模式运行	确认Ollama日志显示GPU调用
回答内容不相关	文档未正确加载	检查WORKING_DIR路径权限
显存不足	模型参数过大	换用qwen2.5:1.5b等更小模型

处理完成后，会在项目目录生成这些关键文件：

./my_documents/
├── vdb_chunks.json       # 文本块向量数据
├── vdb_entities.json     # 实体识别结果  
└── kv_store_doc_status.json  # 处理状态记录

4. 问答系统交互实践

通过修改后的demo脚本，我们可以用多种方式与文档交互：

4.1 命令行测试

直接运行脚本进入问答模式：

python examples/lightrag_ollama_demo.py

输入问题示例：

请总结文档中关于机器学习部署的关键要点

4.2 API调用开发

LightRAG内置FastAPI接口，启动服务后可用curl测试：

curl -X POST http://localhost:8000/query \
  -H "Content-Type: application/json" \
  -d '{"question":"如何优化模型推理速度？"}'

4.3 高级查询技巧

• 指定来源："根据2023年度报告章节，第四季度的增长点是什么？"
• 对比查询："比较传统方法和深度学习方法在文档中的优缺点"
• 溯源验证："这个结论的原始数据支持在哪里？"

典型响应结构示例：

{
  "answer": "文档第三章提到...", 
  "sources": ["notes.txt#page=15"],
  "confidence": 0.87
}

5. 性能优化与扩展

让系统更高效稳定的几个实用技巧：

硬件加速配置：

# 在Ollama启动前设置环境变量
export CUDA_VISIBLE_DEVICES=0  # 指定GPU编号
export OMP_NUM_THREADS=4  # CPU并行线程数

缓存优化方案：

1. 启用LLM响应缓存：

   llm_model_kwargs={"cache": True}
   

2. 定期清理过期向量：

   python -m lightrag.cleanup --days 30
   

多文档管理策略：

• 为不同文档类型创建独立工作目录
• 使用tag参数区分文档领域：

  await rag.add_document(file_path, tags=["技术文档"])
  

• 批量处理脚本示例：

  for file in *.txt; do
    python process_doc.py --input "$file" --output ./processed/
  done
  

实际测试中，在RTX 3060显卡上处理100页中文文档约需8分钟，后续查询响应时间在1-3秒之间。如果发现处理速度不符合预期，可以尝试先对文档进行预处理（如删除无关图片、表格），或者使用更小的文本分块大小。