本地AI突破：ollama-deep-researcher处理流程解析
·
本地AI突破：ollama-deep-researcher处理流程解析
项目地址: https://gitcode.com/GitHub_Trending/ol/ollama-deep-researcher 引言：告别复杂研究流程的痛点解决方案
你是否还在为本地AI研究工具的繁琐配置和低效迭代而困扰？是否渴望一个能够自动化完成查询生成、网页搜索、内容总结和知识补全的全流程解决方案？ollama-deep-researcher作为一款完全本地化的Web研究助手，通过模块化设计和智能循环机制，彻底改变了传统本地AI工具的工作方式。本文将深入剖析其核心处理流程，带您掌握这一突破性工具的工作原理与优化技巧。
读完本文，你将获得：
- 理解ollama-deep-researcher的五大核心处理节点及其交互逻辑
- 掌握配置参数对研究流程的影响及优化方法
- 学会通过状态管理追踪和调试研究过程
- 了解不同搜索API和LLM提供商的适配策略
- 获得实际应用案例的流程分析与性能评估
核心架构概览：模块化的研究流程设计
ollama-deep-researcher基于LangGraph构建了一个高度灵活的有状态工作流，其核心架构采用"生成-搜索-总结-反思"的循环机制，通过五个关键节点实现研究过程的自动化迭代。
处理流程总览
核心节点功能说明
| 节点名称 | 主要功能 | 输入 | 输出 | 关键技术 |
|---|---|---|---|---|
| generate_query | 基于研究主题生成优化搜索查询 | 研究主题、配置参数 | 结构化搜索查询 | LLM提示工程、工具调用/JSON模式 |
| web_research | 执行网页搜索并获取结果 | 搜索查询、搜索API配置 | 格式化搜索结果、源链接 | 多搜索引擎适配、结果去重 |
| summarize_sources | 整合搜索结果生成阶段性总结 | 搜索结果、现有总结 | 更新后的总结 | 增量总结技术、上下文管理 |
| reflect_on_summary | 分析总结内容识别知识缺口 | 当前总结、研究主题 | 新搜索查询、知识缺口描述 | 自反思机制、查询优化 |
| finalize_summary | 整合所有来源生成最终报告 | 所有搜索结果、最终总结 | 带引用的Markdown报告 | 来源格式化、去重处理 |
节点详解：深入核心处理流程
1. 搜索查询生成（generate_query）
搜索查询生成节点是整个研究流程的起点，负责将用户的研究主题转化为高效的搜索查询。该节点支持两种工作模式：工具调用模式和JSON模式，可通过配置参数灵活切换。
核心实现代码
def generate_query(state: SummaryState, config: RunnableConfig):
# 格式化提示
current_date = get_current_date()
formatted_prompt = query_writer_instructions.format(
current_date=current_date, research_topic=state.research_topic
)
# 生成查询
configurable = Configuration.from_runnable_config(config)
@tool
class Query(BaseModel):
"""用于生成网络搜索查询的工具"""
query: str = Field(description="实际的搜索查询字符串")
rationale: str = Field(description="该查询相关性的简要解释")
messages = [
SystemMessage(
content=formatted_prompt + (
tool_calling_query_instructions if configurable.use_tool_calling
else json_mode_query_instructions
)
),
HumanMessage(content="Generate a query for web search:"),
]
return generate_search_query_with_structured_output(
configurable=configurable,
messages=messages,
tool_class=Query,
fallback_query=f"Tell me more about {state.research_topic}",
tool_query_field="query",
json_query_field="query",
)
两种工作模式对比
| 模式 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|
| 工具调用模式 | 结构化输出、类型安全 | 需要模型支持工具调用 | 支持函数调用的LLM（如GPT系列） |
| JSON模式 | 兼容性更广、实现简单 | 需额外JSON解析和错误处理 | 所有支持文本输出的LLM |
该节点通过generate_search_query_with_structured_output函数实现了两种模式的统一接口，确保在不同LLM提供商（Ollama/LMStudio）和模型类型下的兼容性。
2. 网页研究执行（web_research）
网页研究节点负责根据生成的查询执行实际搜索，支持多种搜索引擎API，并对结果进行标准化处理。
多搜索引擎适配
def web_research(state: SummaryState, config: RunnableConfig):
# 配置
configurable = Configuration.from_runnable_config(config)
search_api = get_config_value(configurable.search_api)
# 执行搜索
if search_api == "tavily":
search_results = tavily_search(
state.search_query,
fetch_full_page=configurable.fetch_full_page,
max_results=1,
)
elif search_api == "perplexity":
search_results = perplexity_search(
state.search_query, state.research_loop_count
)
elif search_api == "duckduckgo":
search_results = duckduckgo_search(
state.search_query,
max_results=3,
fetch_full_page=configurable.fetch_full_page,
)
elif search_api == "searxng":
search_results = searxng_search(
state.search_query,
max_results=3,
fetch_full_page=configurable.fetch_full_page,
)
else:
raise ValueError(f"Unsupported search API: {configurable.search_api}")
# 处理结果
search_str = deduplicate_and_format_sources(
search_results,
max_tokens_per_source=MAX_TOKENS_PER_SOURCE,
fetch_full_page=configurable.fetch_full_page,
)
return {
"sources_gathered": [format_sources(search_results)],
"research_loop_count": state.research_loop_count + 1,
"web_research_results": [search_str],
}
搜索结果处理流程
- 结果去重：通过URL对搜索结果进行去重，确保信息多样性
- 内容截断：根据配置的最大令牌数限制（默认1000 tokens）截断长文本
- 格式标准化：统一不同搜索引擎返回结果的格式，包含标题、URL、摘要和原始内容
- 全页内容获取：可选配置是否获取完整网页内容以提高总结质量
3. 研究结果总结（summarize_sources）
总结节点负责将新获取的搜索结果与现有总结整合，生成更新后的研究摘要。该节点采用增量总结策略，避免重复处理已有信息。
核心实现逻辑
def summarize_sources(state: SummaryState, config: RunnableConfig):
# 现有总结
existing_summary = state.running_summary
# 最新搜索结果
most_recent_web_research = state.web_research_results[-1]
# 构建提示内容
if existing_summary:
human_message_content = (
f"<Existing Summary> \n {existing_summary} \n </Existing Summary>\n\n"
f"<New Context> \n {most_recent_web_research} \n </New Context>"
f"Update the Existing Summary with the New Context on this topic: \n <User Input> \n {state.research_topic} \n </User Input>\n\n"
)
else:
human_message_content = (
f"<Context> \n {most_recent_web_research} \n </Context>"
f"Create a Summary using the Context on this topic: \n <User Input> \n {state.research_topic} \n </User Input>\n\n"
)
# 配置LLM
configurable = Configuration.from_runnable_config(config)
if configurable.llm_provider == "lmstudio":
llm = ChatLMStudio(
base_url=configurable.lmstudio_base_url,
model=configurable.local_llm,
temperature=0,
)
else: # 默认Ollama
llm = ChatOllama(
base_url=configurable.ollama_base_url,
model=configurable.local_llm,
temperature=0,
)
# 生成总结
result = llm.invoke(
[
SystemMessage(content=summarizer_instructions),
HumanMessage(content=human_message_content),
]
)
# 处理结果
running_summary = result.content
if configurable.strip_thinking_tokens:
running_summary = strip_thinking_tokens(running_summary)
return {"running_summary": running_summary}
增量总结策略优势
- 效率提升：仅处理新增信息，减少重复计算
- 上下文保持：维持总结的连贯性和主题聚焦
- 资源优化：降低LLM调用成本和响应时间
4. 知识缺口反思（reflect_on_summary）
反思节点是实现研究迭代的核心，通过分析当前总结识别知识缺口，并生成针对性的后续搜索查询。
反思机制实现
def reflect_on_summary(state: SummaryState, config: RunnableConfig):
# 配置
configurable = Configuration.from_runnable_config(config)
formatted_prompt = reflection_instructions.format(
research_topic=state.research_topic
)
# 定义工具
@tool
class FollowUpQuery(BaseModel):
"""用于生成后续查询以填补知识缺口的工具"""
follow_up_query: str = Field(description="用于填补缺口的具体问题")
knowledge_gap: str = Field(description="描述缺失或需要澄清的信息")
# 构建消息
messages = [
SystemMessage(
content=formatted_prompt + (
tool_calling_reflection_instructions if configurable.use_tool_calling
else json_mode_reflection_instructions
)
),
HumanMessage(
content=f"Reflect on our existing knowledge: \n === \n {state.running_summary}, \n === \n And now identify a knowledge gap and generate a follow-up web search query:"
),
]
# 生成后续查询
return generate_search_query_with_structured_output(
configurable=configurable,
messages=messages,
tool_class=FollowUpQuery,
fallback_query=f"Tell me more about {state.research_topic}",
tool_query_field="follow_up_query",
json_query_field="follow_up_query",
)
知识缺口识别策略
- 信息完备性检查：评估当前总结是否覆盖研究主题的主要方面
- 时效性评估：检查信息是否包含最新数据和发展动态
- 深度分析：识别需要进一步解释或支持的主张
- 多角度验证：寻找是否需要补充不同立场或来源的信息
5. 流程路由与终止判断（route_research）
路由函数决定研究流程的走向：继续迭代搜索还是终止并生成最终报告。
def route_research(
state: SummaryState, config: RunnableConfig
) -> Literal["finalize_summary", "web_research"]:
"""决定下一步是继续研究还是生成最终报告"""
configurable = Configuration.from_runnable_config(config)
if state.research_loop_count <= configurable.max_web_research_loops:
return "web_research"
else:
return "finalize_summary"
6. 最终报告生成（finalize_summary）
最终节点负责整合所有研究结果，生成带有来源引用的标准化报告。
def finalize_summary(state: SummaryState):
"""整合所有来源并生成最终总结报告"""
# 来源去重
seen_sources = set()
unique_sources = []
for source in state.sources_gathered:
for line in source.split("\n"):
if line.strip() and line not in seen_sources:
seen_sources.add(line)
unique_sources.append(line)
# 格式化最终报告
all_sources = "\n".join(unique_sources)
state.running_summary = (
f"## Summary\n{state.running_summary}\n\n ### Sources:\n{all_sources}"
)
return {"running_summary": state.running_summary}
配置系统：定制你的研究流程
ollama-deep-researcher提供了丰富的配置选项，允许用户根据硬件条件和研究需求定制流程行为。
核心配置参数
class Configuration(BaseModel):
max_web_research_loops: int = Field(
default=3, description="研究迭代次数"
)
local_llm: str = Field(
default="llama3.2", description="使用的本地LLM模型名称"
)
llm_provider: Literal["ollama", "lmstudio"] = Field(
default="ollama", description="LLM提供商"
)
search_api: Literal["perplexity", "tavily", "duckduckgo", "searxng"] = Field(
default="duckduckgo", description="Web搜索API"
)
fetch_full_page: bool = Field(
default=True, description="是否获取完整网页内容"
)
ollama_base_url: str = Field(
default="http://localhost:11434/", description="Ollama API基础URL"
)
lmstudio_base_url: str = Field(
default="http://localhost:1234/v1", description="LMStudio API基础URL"
)
use_tool_calling: bool = Field(
default=False, description="使用工具调用模式而非JSON模式"
)
配置优先级
ollama-deep-researcher采用三级配置优先级机制：
- 环境变量（最高优先级）：通过
.env文件设置 - LangGraph UI配置：在LangGraph Studio中动态调整
- 默认配置（最低优先级）：代码中定义的默认值
状态管理：追踪研究过程的完整状态
状态管理是理解和调试研究流程的关键。系统通过SummaryState类统一管理所有中间结果和配置。
@dataclass(kw_only=True)
class SummaryState:
research_topic: str = field(default=None) # 研究主题
search_query: str = field(default=None) # 当前搜索查询
web_research_results: Annotated[list, operator.add] = field(default_factory=list) # 搜索结果列表
sources_gathered: Annotated[list, operator.add] = field(default_factory=list) # 来源列表
research_loop_count: int = field(default=0) # 研究循环计数
running_summary: str = field(default=None) # 当前总结
状态对象在节点间传递，通过Annotated[list, operator.add]实现列表类型状态的自动累加，确保所有迭代的搜索结果和来源都被保留。
实际应用案例：配置与流程优化
案例1：基础研究配置（默认参数）
# 默认配置下的研究流程
研究主题 → 生成查询 → 网页搜索 → 总结结果 → 反思缺口 → 生成新查询 → ...(重复3次) → 生成最终报告
案例2：深度研究配置（增加迭代次数）
# .env配置
MAX_WEB_RESEARCH_LOOPS=5 # 增加到5次研究循环
FETCH_FULL_PAGE=true # 获取完整网页内容
LOCAL_LLM=llama3.2:34b # 使用更强大的34B模型
案例3：高性能配置（工具调用模式）
# .env配置
USE_TOOL_CALLING=true # 启用工具调用模式
LLM_PROVIDER=ollama # 使用Ollama
LOCAL_LLM=deepseek-r1:8b # 使用DeepSeek R1模型
SEARCH_API=tavily # 使用Tavily搜索API
性能优化与最佳实践
循环次数配置建议
| 研究类型 | 建议循环次数 | 适用场景 | 典型配置 |
|---|---|---|---|
| 快速概览 | 1-2次 | 初步了解主题 | MAX_WEB_RESEARCH_LOOPS=2 |
| 深度研究 | 3-5次 | 全面分析主题 | MAX_WEB_RESEARCH_LOOPS=5 |
| 学术研究 | 5-7次 | 学术论文准备 | MAX_WEB_RESEARCH_LOOPS=7 |
LLM选择策略
- 平衡型：Llama 3.2 8B/70B - 兼顾速度和质量
- 研究型：DeepSeek R1 - 优化知识获取任务
- 速度型：Phi-3 Medium - 快速迭代研究
- 兼容型：Qwen 2 - 良好支持工具调用和JSON模式
搜索API对比
| API | 优势 | 劣势 | 适用场景 |
|---|---|---|---|
| DuckDuckGo | 免费、无需API key | 结果有限、无完整内容 | 快速测试、隐私优先 |
| Tavily | 高质量结果、完整内容 | 需要API key、有使用限制 | 专业研究、生产环境 |
| Perplexity | AI增强搜索、深度分析 | API成本较高 | 复杂主题研究 |
| SearXNG | 自托管、隐私保护 | 需要自行部署 | 隐私敏感场景 |
总结与展望
ollama-deep-researcher通过模块化的节点设计、灵活的配置系统和智能的迭代机制，为本地AI研究提供了一套完整解决方案。其核心优势在于：
- 全本地化：所有处理在本地完成，保护数据隐私
- 高度自动化：从查询生成到报告生成的全流程自动化
- 灵活配置：适应不同硬件条件和研究需求
- 透明可调试：完整的状态追踪和来源管理
未来发展方向包括：
- 多语言支持：扩展非英语研究能力
- 多模态整合：加入图像和视频内容分析
- 智能代理：增加自主决策和计划能力
- 知识库集成：连接本地知识库系统
通过掌握本文介绍的处理流程和优化策略，您可以充分发挥ollama-deep-researcher的潜力，将其打造成个人和团队研究的强大助手。无论您是研究人员、学生还是知识工作者，这款工具都能显著提升您的信息获取和分析效率，让本地AI研究变得前所未有的简单高效。
延伸资源
- 项目代码库：通过
git clone https://gitcode.com/GitHub_Trending/ol/ollama-deep-researcher获取最新代码 - 视频教程：Building Local Deep Researcher from Scratch
- 模型库：Ollama模型库提供多种适合研究的模型
希望本文能帮助您深入理解ollama-deep-researcher的工作原理。如果觉得本文有价值，请点赞、收藏并关注获取更多本地AI工具深度解析。
附录：核心代码文件结构
ollama-deep-researcher/
├── src/
│ └── ollama_deep_researcher/
│ ├── graph.py # 核心流程定义
│ ├── configuration.py # 配置系统
│ ├── state.py # 状态管理
│ ├── utils.py # 工具函数
│ ├── prompts.py # 提示工程
│ └── lmstudio.py # LMStudio集成
├── README.md # 项目文档
└── docker-compose.yml # Docker配置
更多推荐
5
0- 0
已为社区贡献18条内容
所有评论(0)