Pocket Flow 是一个极简主义的开源LLM框架,主打轻量、高效和灵活。它的核心理念是,构建复杂的LLM应用并不需要一个庞大臃肿的框架,只需要一个精炼而强大的抽象层。

https://github.com/The-Pocket/PocketFlow

  • 极简代码:整个框架仅有 100行代码。这让它几乎没有依赖,体积非常小,易于理解和调试。

  • 零依赖,零锁定:它不依赖任何外部库,也不内置任何特定供应商(如OpenAI、Pinecone)的API。你可以完全自由地选择自己需要的LLM、数据库或工具,避免了被特定供应商锁定的问题。

  • 强大的抽象:虽然代码量少,但它提供了强大的图(Graph)共享存储(Shared Store)抽象。基于这个核心抽象,你可以轻松地实现多智能体、工作流、RAG(检索增强生成)等各种复杂的LLM应用设计模式。

Pocket Flow是如何工作的?

Pocket Flow的核心思想是:所有的LLM应用都可以被视为一个计算图。在这个图中,不同的“节点”(Node)代表不同的处理单元,而“流”(Flow)则负责编排这些节点的执行顺序和数据流向。

图片

通过这个简单的图抽象,你可以构建出多种多样的应用:

  • 聊天机器人:通过节点来处理用户输入、管理对话历史。

  • 工作流:将复杂的任务(如写文章)分解为多个节点,如“大纲生成”、“内容创作”、“格式调整”,并按顺序执行。

  • RAG:一个节点负责从外部知识库检索信息,另一个节点负责基于这些信息生成回答。

  • 多智能体系统:多个智能体作为图中的不同节点,通过共享存储进行异步通信和协作。

框架

核心抽象

代码行数

大小

Pocket Flow 图(Graph) 100 +56KB

LangChain

Agent, Chain

405K

+166MB

CrewAI

Agent, Chain

18K

+173MB

LangGraph

Agent, Graph

37K

+51MB

Pocket Flow支持流程类型

图片

  • 节点(Node):执行单一、原子任务的最小处理单元。

  • 流(Flow):将多个步骤按顺序串联起来,形成一个完整的任务流程。

  • 共享(Shared):在不同处理步骤之间传递数据和上下文的通信机制。

图片

图片

  • 批处理(Batch):对多个输入重复执行相同的步骤,以实现批量处理。

  • 并行(Parallel):同时执行多个独立的步骤,以提高整体效率。

  • 异步(Async):处理需要等待外部事件或长时间运行的步骤,避免阻塞流程。

  • 循环(Looping):重复执行一组步骤,直到满足某个预设的退出条件。

  • 分支(Branch):根据特定条件或决策,将工作流导向不同的路径。

  • 嵌套(Nesting):将一个完整的工作流封装为一个可重用的子步骤,提高模块化和复用性。

  • 定向路径(Directed Path):一个线性的、按预定顺序执行的单向流程。

图片

  • 思维链(CoT, Chain-of-Thought):通过循环自我反思和记录历史,逐步解决复杂问题。

  • 映射-归纳(Map-Reduce):将大规模任务分解为小块并行处理,最后将结果汇总。

  • 聊天(Chat):一个基于循环并记录对话历史,以维持上下文的交互模式。

  • 检索增强生成(RAG):在生成答案前,先从外部向量数据库检索相关信息进行增强。

图片

  • 聊天记忆(Chat Memory):结合聊天历史和长期向量数据库,实现短期和长期记忆的对话系统。

  • 智能体(Agent):一个能够根据任务情况进行循环和分支决策的自主执行实体。

  • 多智能体(Multi-Agent):多个智能体通过发布/订阅等机制进行通信和协作,共同完成任务。

  • 监督者(Supervisor):一个高级智能体,负责监控、批准或拒绝其他智能体的任务结果,以确保质量。

图片

案例:基础的聊天机器人

https://github.com/The-Pocket/PocketFlow/tree/main/cookbook/pocketflow-chat

聊天机器人由一个名为 ChatNode 的单一节点构成,并通过一个自循环的 Flow 来运行。它的工作流程分为三个阶段:

  • prep() 方法 (准备) :在每次循环开始时,这个方法会检查 shared(共享存储)中是否存在对话历史。如果不存在,它会初始化一个空列表并打印欢迎信息。然后,它会提示用户输入,并将用户的消息添加到共享的对话历史中。如果用户输入“exit”,则返回 None 来终止流。

  • exec() 方法 (执行) :这个方法接收来自 prep() 的完整对话历史,然后调用 call_llm() 工具函数(这里是 utils.py)来与大模型(如 GPT-4o)进行交互,生成一个回复。

  • post() 方法 (处理) :执行完 exec() 后,这个方法会接收大模型的回复。它会打印回复内容,并将其添加到共享的对话历史中。最后,它返回一个特殊的“continue”字符串。

PocketFlow 基础教教程

名称 (Name)

描述 (Description)

聊天

 (Chat)

带有对话历史的基本聊天机器人。

结构化输出

 (Structured Output)

通过提示从简历中提取结构化数据。

工作流

 (Workflow)

一个写作工作流,包含大纲、内容和风格化。

智能体

 (Agent)

一个可以搜索网络并回答问题的研究智能体。

RAG

一个简单的检索增强生成流程。

批处理

 (Batch)

一个将 Markdown 内容翻译成多种语言的处理器。

流式处理

 (Streaming)

一个带有用户中断功能的实时大模型流式演示。

聊天护栏

 (Chat Guardrail)

一个只处理旅行相关查询的聊天机器人。

多数投票

 (Majority Vote)

通过聚合多次解决方案尝试来提高推理准确性。

Map-Reduce

使用 map-reduce 模式进行批量简历资格评估。

CLI HITL

一个带有“人在回路”反馈的命令行笑话生成器。

多智能体

 (Multi-Agent)

两个智能体之间异步通信的禁忌词游戏。

监督者

 (Supervisor)

建立一个监督流程来监控研究智能体的可靠性。

并行

 (Parallel)

一个展示 3 倍加速的并行执行演示。

并行流

 (Parallel Flow)

一个展示 8 倍加速的并行图像处理演示。

思考

 (Thinking)

通过思维链解决复杂的推理问题。

记忆

 (Memory)

一个具有短期和长期记忆的聊天机器人。

Text2SQL

使用自动调试循环将自然语言转换为 SQL 查询。

代码生成器

 (Code Generator)

生成测试用例、实现解决方案并迭代改进代码。

MCP

使用模型上下文协议进行数值运算的智能体。

A2A

一个使用智能体到智能体协议进行通信的智能体。

Streamlit FSM

一个带有有限状态机的 Streamlit 应用,用于“人在回路”的图像生成。

FastAPI WebSocket

一个带有实时流式大模型响应的 WebSocket 聊天界面。

FastAPI Background

一个带有后台任务和实时进度更新的 FastAPI 应用。

语音聊天

 (Voice Chat)

一个带有 VAD、STT、大模型和 TTS 的交互式语音聊天应用。

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?

别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享

👇👇扫码免费领取全部内容👇👇

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明:AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取

👇👇扫码免费领取全部内容👇👇

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

Logo

更多推荐