AI Agent Harness Engineering 创业PMF验证工具:用户满意度+留存率+业务指标监测表


引言

各位正在AI创业赛道摸爬滚打的产品经理、技术负责人、创始人,你们是否遇到过这样的致命困境

花了三个月搭了个自认为“无所不能”的通用AI Agent框架(比如能一键连LangChain、AutoGPT、DeepLake,支持多模态、Agent协作、记忆链),拉了几百个内测用户,结果一个星期后日活剩不到10%?
好不容易抓住一个To B的场景(比如电商客服自动化代运营),做了定制化的Agent业务逻辑,客户签了单但付完首笔款后没续约?
每天盯着后台五花八门的技术指标(框架的Agent响应速度、内存占用、API调用成功率),却不知道这些数据和用户真金白银的付费、离不开产品的“粘性”、业务的增长到底有没有半毛钱关系?

甚至更扎心的是,很多AI Harness(我们后面会统一把“搭建、管理、部署、优化AI Agent的基础设施/平台”称为 AI Agent Harness Engineering (简称HAE))创业团队,直到账上的钱快烧完了,才意识到自己根本没有找到 Product-Market Fit(产品市场匹配,PMF)——用Marc Andreessen的话来说,“PMF就是产品在市场上找到了一群想要它、需要它、愿意为它付费、还会推荐给别人的用户”。

为什么HAE创业的PMF验证这么难?
因为传统的SaaS PMF验证框架(比如PMF Score问卷、NPS净推荐值、AARRR漏斗),在HAE这个“非标准化、强依赖技术、既服务C端开发又服务B端业务”的交叉赛道,完全水土不服

  1. C端B端混杂的用户画像模糊:你的内测用户可能是在校的Python小白、想蹭开源热度的技术极客、要做MVP的初创企业CTO、要降本增效的大型企业数字化负责人——他们的需求天差地别,用同一份问卷根本测不出真实的PMF;
  2. 非标准化的技术交付VS标准化的业务指标脱节:客户可能会因为你帮他省了10万的人力成本而续约,也可能会因为你的Harness每周更新一次API导致他的业务Agent全挂而跑路——但你之前只盯API调用成功率,完全没把“API变更的破坏性影响范围”“业务Agent修复成本”纳入监测;
  3. 强依赖技术门槛的早期用户留存逻辑特殊:小白用户可能会因为你的框架文档写得太烂、连个一键启动的Demo都没有而秒删;技术极客可能会因为你的框架不支持他想用的某个小众LLM(比如Zephyr-7B-beta的LoRA微调)或者某个Vector DB(比如Weaviate的Hybrid Search的高级参数)而转身用LangChain;大型企业可能会因为你的框架不支持私有化部署、不具备SLA保障而放弃——这些留存的驱动因素,传统的AARRR漏斗(比如用户注册了多少次、浏览了多少页)根本覆盖不到;
  4. PMF验证的周期过长、成本过高:搭一个可用的HAE Demo最少也要一个月,拉够有代表性的内测用户最少也要半个月,等用户用够、有真实反馈、甚至有付费行为,可能三个月就过去了——如果验证失败,你不仅浪费了钱,还浪费了宝贵的AI创业窗口期(毕竟现在LLM的迭代速度是按周算的)。

那有没有一套专门为HAE创业团队量身打造的PMF验证工具?

有的! 本文我将结合自己在某头部HAE开源社区(代码贡献量Top10)某失败的To B电商客服自动化HAE创业项目(创始人之一,烧了200万天使轮后倒闭) 的亲身经历,以及我收集整理的全球50+成功/失败HAE创业团队的PMF验证数据,为你打造一套**「三位一体」的HAE PMF验证监测表**——这套监测表同时覆盖了用户满意度维度(专门针对HAE的分层PMF Score问卷)、留存率维度(基于HAE用户行为路径的分层留存漏斗)、业务指标维度(专门针对HAE的技术-业务双轮驱动指标体系),可以帮助你在30天内快速验证PMF的雏形,在60天内完成初步的PMF验证,在90天内锁定核心的PMF用户群体和核心的PMF场景,把PMF验证的成本降低70%以上,把验证的周期缩短50%以上

读完本文你将学到什么?

  1. 什么是真正的AI Agent Harness Engineering?它和LangChain、AutoGPT有什么本质区别?(这是理解PMF验证逻辑的基础,很多创始人一开始就把自己的产品定位错了);
  2. HAE创业的PMF有什么特殊的判断标准?(Marc Andreessen的PMF定义虽然经典,但在HAE赛道,我们需要更具体、可量化的指标);
  3. 如何构建一套专门针对HAE的分层PMF Score问卷?(我们会把用户分成4层——小白探索者、技术极客、初创企业MVP开发者、大型企业数字化负责人——每一层都有不同的问题权重和判断标准);
  4. 如何构建一套基于HAE用户行为路径的分层留存漏斗?(我们会把HAE的用户行为路径拆成8个核心步骤——访问官网/开源仓库→注册/Star→下载/克隆→阅读快速入门文档→运行一键启动Demo→创建第一个自定义Agent→部署第一个生产级Agent→付费/持续贡献开源代码——每一层都有不同的留存率阈值和流失预警指标);
  5. 如何构建一套专门针对HAE的技术-业务双轮驱动指标体系?(我们会把指标分成4类——用户体验类技术指标、平台稳定性类技术指标、用户粘性类业务指标、商业变现类业务指标——每一类都有具体的计算方法、PMF验证的阈值、以及指标异常的排查方法);
  6. 如何使用这套「三位一体」的监测表进行PMF验证?(我们会给出一个90天的HAE PMF验证实战计划,每10天一个小节点,每30天一个大节点,告诉你在每个节点该做什么、该看哪些指标、该怎么调整产品);
  7. HAE创业的PMF验证有哪些常见的坑?(比如“为了通用而通用”“只盯技术指标不盯业务指标”“过早地追求商业化”“忽视开源社区的力量”——这些坑我都踩过,希望你不要重蹈覆辙)。

准备工作

在开始使用这套「三位一体」的HAE PMF验证监测表之前,你需要先做好以下3项核心准备工作——如果这3项准备工作没做好,你收集到的所有数据都是无效数据,PMF验证也会变成一场“自嗨”。

技术栈/知识准备

  1. 熟悉AI Agent的核心概念:你需要了解什么是LLM(大语言模型)、什么是Prompt Engineering(提示词工程)、什么是Retrieval-Augmented Generation(检索增强生成,RAG)、什么是Agent协作、什么是长期记忆、什么是短期记忆——如果你对这些概念还不熟悉,可以先去看一下我的另一篇技术博客《从零到一:用LangChain搭建你的第一个生产级AI Agent》(假设存在,或者推荐一些公开的资源,比如LangChain的官方文档、吴恩达的《AI Agent开发入门》课程);
  2. 熟悉至少一个主流的HAE框架:你需要自己动手搭过至少一个HAE Demo(比如用LangChain搭一个简单的文档问答Agent、用AutoGPT搭一个简单的信息收集Agent、用LlamaIndex搭一个简单的企业知识库Agent)——只有自己亲身体验过HAE的开发流程,你才能理解用户的痛点,才能设计出有针对性的问卷和监测指标;
  3. 熟悉数据分析的基础工具:你需要会用至少一个数据分析工具(比如Excel、Google Sheets、Airtable、Tableau、Power BI、Python的Pandas/Matplotlib/Seaborn)——因为这套监测表会产生大量的数据,你需要用这些工具来整理、分析、可视化数据;
  4. 熟悉用户研究的基础方法:你需要会用至少一种用户研究方法(比如用户访谈、可用性测试、问卷调查)——因为问卷调查只能收集到“表面数据”,用户访谈和可用性测试才能收集到“深层数据”(比如用户为什么流失、用户为什么喜欢/不喜欢你的产品、用户的真实需求是什么)。

环境/工具准备

  1. 拥有一个可用的HAE Demo:你的Demo必须是**“可运行、可交互、有明确的价值主张”的——不能只是一个“空架子”(比如只有一个登录页面、只有一个文档列表、没有任何Agent逻辑);Demo的价值主张必须是“单一、具体、可量化”**的——不能是“无所不能的通用AI Agent框架”(这是很多HAE创业团队一开始犯的最大错误),而应该是“10分钟内用无代码搭建一个企业内部文档问答Agent”“一键部署一个支持多模态的电商客服自动化代运营Agent”“支持Zephyr-7B-beta LoRA微调的AI Agent开发框架”;
  2. 拥有一个清晰的用户获取渠道:你需要至少有一个**“可以触达目标用户群体”**的渠道——比如你可以在GitHub上开源你的Demo(这是触达技术极客和初创企业CTO的最好渠道)、可以在Reddit的r/LangChain、r/AutoGPT、r/OpenAI等社区发帖(这是触达C端开发的最好渠道)、可以在LinkedIn上联系大型企业的数字化负责人(这是触达B端客户的最好渠道)、可以参加一些AI创业的线下沙龙或线上会议(这是触达投资人、合作伙伴、目标用户的综合渠道);
  3. 拥有一套用户行为监测工具:你需要至少有一套**“可以监测HAE用户核心行为路径”**的工具——比如你可以用Google Analytics或Mixpanel来监测官网/开源仓库的访问量、注册量、Star量、下载量、克隆量;你可以用Segment或RudderStack来整合不同渠道的用户数据;你可以用Amplitude或Heap来监测HAE Demo内部的用户行为(比如阅读快速入门文档的时间、运行一键启动Demo的次数、创建第一个自定义Agent的成功率、部署第一个生产级Agent的次数);如果你是做To B的HAE,你还可以用HubSpot或Salesforce来监测客户的签约率、续约率、复购率、LTV(客户终身价值);
  4. 拥有一套用户反馈收集工具:你需要至少有一套**“可以收集HAE用户真实反馈”**的工具——比如你可以用Typeform或Google Forms来做问卷调查;你可以用Discord或Slack来建一个内测用户社区(这是收集实时反馈、建立用户粘性的最好渠道);你可以用UserTesting或Lookback来做可用性测试;你可以用Intercom或Zendesk来做客服支持(同时也可以收集用户的反馈和痛点)。

思想准备

  1. 放下“完美主义”的心态:很多HAE创业团队一开始就想做一个“完美的、无所不能的”通用AI Agent框架,结果花了三个月甚至半年的时间,才搭出一个“勉强能用”的Demo——但此时,市场上已经出现了很多竞争对手,目标用户群体的需求也已经发生了变化。所以,你必须放下“完美主义”的心态,用MVP(最小可行产品) 的思路来开发你的Demo——先做一个“单一、具体、可运行”的Demo,快速推向市场,收集用户的反馈,然后再迭代优化;
  2. 做好“快速失败”的准备:PMF验证不是“一次就成功”的——据统计,全球90%以上的创业项目都是因为没有找到PMF而失败的。所以,你必须做好“快速失败”的准备——如果在30天内,你的分层PMF Score低于20分(我们后面会给出具体的评分标准),如果在60天内,你的核心留存率(比如“注册→创建第一个自定义Agent”的留存率)低于10%,如果在90天内,你没有找到哪怕一个愿意为你的产品付费的B端客户或愿意持续贡献开源代码的技术极客,那你就应该果断地调整产品方向,甚至放弃这个项目;
  3. 保持“用户第一”的心态:很多HAE创业团队的创始人都是技术出身,他们往往会“为了技术而技术”——比如为了支持某个小众的LLM而花大量的时间和精力,却不管目标用户群体会不会用这个LLM;比如为了提升框架的性能而花大量的时间和精力,却不管目标用户群体会不会在意这几毫秒的响应速度。所以,你必须保持“用户第一”的心态——所有的产品决策都应该基于用户的真实反馈和真实需求,而不是基于你自己的“技术执念”;
  4. 重视“开源社区”的力量:如果你是做通用型或半通用型的HAE,那开源社区就是你最重要的“资产”——开源社区可以帮你免费获取大量的技术极客和初创企业CTO用户,可以帮你免费测试你的产品,可以帮你免费开发新的功能,可以帮你免费推广你的产品。据统计,全球成功的HAE项目(比如LangChain、LlamaIndex、AutoGPT)都是从开源社区起步的。所以,你必须重视“开源社区”的力量——如果你有条件,最好把你的Demo开源,然后用心经营你的开源社区。

核心概念:什么是真正的AI Agent Harness Engineering?

在开始讲解这套「三位一体」的HAE PMF验证监测表之前,我们必须先搞清楚一个最基础、也最容易被混淆的问题:什么是真正的AI Agent Harness Engineering?它和LangChain、AutoGPT有什么本质区别?

因为很多HAE创业团队一开始就把自己的产品定位错了——比如把自己的产品定位成“LangChain的替代品”“AutoGPT的升级版”,结果到最后才发现,自己的产品根本没有解决用户的核心痛点,也没有形成自己的核心竞争力。

什么是AI Agent?

首先,我们需要明确什么是AI Agent(人工智能代理)——虽然这个概念已经被炒得很热,但很多人对它的定义还是模糊的。

根据吴恩达在《AI Agent开发入门》课程中的定义:AI Agent是一个能够感知环境、做出决策、并采取行动来实现特定目标的人工智能系统

一个完整的AI Agent通常包含以下5个核心组件(这是理解HAE的基础):

  1. LLM Core(大语言模型核心):这是AI Agent的“大脑”——负责理解用户的指令、生成思考过程、生成决策、生成行动方案;
  2. Perception Module(感知模块):这是AI Agent的“眼睛、耳朵、鼻子”——负责感知外部环境的信息(比如用户的文本输入、图片输入、音频输入、网页信息、API数据、数据库数据);
  3. Memory Module(记忆模块):这是AI Agent的“记忆库”——负责存储AI Agent的短期记忆(比如当前对话的上下文)和长期记忆(比如用户的历史偏好、企业的历史数据、之前执行过的任务的结果);
  4. Decision-Making Module(决策模块):这是AI Agent的“决策中心”——负责根据LLM Core的思考过程、Perception Module的感知信息、Memory Module的记忆信息,做出最终的决策;
  5. Action Module(行动模块):这是AI Agent的“手脚”——负责执行Decision-Making Module的决策(比如调用API、发送邮件、修改数据库、生成图片、生成音频)。

一个简单的AI Agent的工作流程可以用下面的mermaid流程图来表示:

用户输入指令

Perception Module感知指令

Memory Module提取相关记忆

LLM Core理解指令+生成思考过程

Decision-Making Module做出决策

是否需要调用外部工具/资源?

Action Module调用外部工具/资源

Perception Module感知外部工具/资源的返回结果

LLM Core生成最终的响应

用户收到响应

用户是否满意?

任务完成,Memory Module存储任务结果

什么是AI Agent Harness Engineering(HAE)?

接下来,我们来明确什么是AI Agent Harness Engineering(简称HAE)——这是本文的核心概念,也是很多人容易混淆的概念。

首先,我们来看一下“Harness”这个英文单词的含义——它的中文意思是“马具、挽具、治理、利用、控制”。

那么,结合AI Agent的定义,我们可以把AI Agent Harness Engineering(HAE) 定义为:一套用于治理、利用、控制、搭建、管理、部署、优化、监控AI Agent的基础设施/平台/方法论体系

一个完整的HAE通常包含以下8个核心模块(这是HAE和LangChain、AutoGPT的本质区别之一):

  1. Agent Building Module(Agent搭建模块):这是HAE的“核心功能模块之一”——负责帮助用户快速搭建AI Agent;Agent搭建模块通常包含两种模式:低代码/无代码模式(面向小白探索者、大型企业数字化负责人)和代码模式(面向技术极客、初创企业MVP开发者);
  2. Agent Management Module(Agent管理模块):这是HAE的“核心功能模块之一”——负责帮助用户管理他们创建的所有AI Agent;Agent管理模块通常包含以下功能:Agent列表、Agent编辑、Agent删除、Agent版本控制、Agent权限控制;
  3. Agent Deployment Module(Agent部署模块):这是HAE的“核心功能模块之一”——负责帮助用户快速部署他们创建的AI Agent到生产环境;Agent部署模块通常支持多种部署方式:公有云部署(比如AWS、GCP、Azure、阿里云、腾讯云)、私有云部署(面向大型企业)、边缘部署(面向需要低延迟的场景)、API部署(用户可以通过API调用部署好的AI Agent);
  4. Agent Optimization Module(Agent优化模块):这是HAE的“核心功能模块之一”——负责帮助用户优化他们创建的AI Agent;Agent优化模块通常包含以下功能:Prompt Engineering优化(比如自动提示词生成、自动提示词测试、自动提示词迭代)、LLM Fine-Tuning优化(比如支持主流LLM的LoRA微调、QLoRA微调、全量微调)、RAG优化(比如自动文档切分、自动向量索引、自动Hybrid Search配置);
  5. Agent Monitoring Module(Agent监控模块):这是HAE的“核心功能模块之一”——负责帮助用户监控他们部署到生产环境的AI Agent;Agent监控模块通常包含以下功能:技术指标监控(比如LLM响应速度、API调用成功率、内存占用、CPU占用)、业务指标监控(比如Agent任务完成率、用户满意度评分、Agent调用次数)、告警功能(当技术指标或业务指标超过阈值时,及时通知用户);
  6. Agent Collaboration Module(Agent协作模块):这是HAE的“高级功能模块之一”——负责帮助用户创建多个AI Agent的协作系统(比如Multi-Agent System);Agent协作模块通常支持多种协作模式:顺序协作模式(一个Agent完成任务后,把结果传给下一个Agent)、并行协作模式(多个Agent同时执行不同的任务,然后把结果汇总)、协商协作模式(多个Agent通过协商来解决冲突、做出最终的决策);
  7. Tool & Resource Integration Module(工具与资源集成模块):这是HAE的“基础功能模块之一”——负责帮助用户集成各种外部工具和资源;Tool & Resource Integration Module通常支持以下类型的工具和资源:主流LLM(比如OpenAI的GPT-4、GPT-3.5-turbo,Anthropic的Claude 3 Opus/Sonnet/Haiku,Meta的Llama 2,Google的Gemini,Hugging Face的开源LLM)、主流Vector DB(比如Pinecone、Weaviate、Chroma、Milvus、FAISS)、主流API(比如Google Search API、Bing Search API、Weather API、Stripe API、Salesforce API)、主流数据库(比如PostgreSQL、MySQL、MongoDB、Redis)、主流文档格式(比如PDF、Word、Excel、PPT、TXT、Markdown);
  8. Community & Marketplace Module(社区与市场模块):这是HAE的“生态功能模块之一”——负责帮助用户分享他们创建的AI Agent、Prompt、工具集成;同时,用户也可以在Marketplace上购买其他用户分享的AI Agent、Prompt、工具集成;Community & Marketplace Module通常包含以下功能:Agent分享、Prompt分享、工具集成分享、Agent购买、Prompt购买、工具集成购买、用户评论、用户评分。

HAE和LangChain、AutoGPT有什么本质区别?

现在,我们来搞清楚HAE和LangChain、AutoGPT的本质区别——这是HAE创业团队定位自己产品的关键。

为了让你更直观地理解这个问题,我做了一个概念核心属性维度对比的markdown表格

概念核心属性 AI Agent Harness Engineering(HAE) LangChain AutoGPT
产品定位 治理、利用、控制、搭建、管理、部署、优化、监控AI Agent的全生命周期基础设施/平台 搭建AI Agent的开源代码库/SDK 一个完全自主运行的通用AI Agent Demo
目标用户群体 小白探索者、技术极客、初创企业MVP开发者、大型企业数字化负责人(覆盖全用户群体 主要面向技术极客、初创企业MVP开发者(有一定的Python基础) 主要面向C端技术极客、想尝鲜的普通用户
核心功能模块 包含Agent搭建、管理、部署、优化、监控、协作、工具与资源集成、社区与市场8个核心模块(覆盖AI Agent的全生命周期) 主要包含LLM集成、Prompt模板、RAG、Agent逻辑、Memory链5个核心功能(主要覆盖AI Agent的搭建阶段) 主要包含LLM集成、自主思考、自主调用工具、自主规划任务4个核心功能(主要是一个Demo,没有管理、部署、优化、监控等功能)
使用门槛 低代码/无代码模式(面向小白探索者、大型企业数字化负责人)+ 代码模式(面向技术极客、初创企业MVP开发者),覆盖全使用门槛 主要是代码模式有一定的Python基础要求 主要是命令行模式简单的Web界面使用门槛较低,但功能有限
部署方式 支持公有云部署、私有云部署、边缘部署、API部署(覆盖全部署场景) 需要用户自己部署(比如部署到AWS Lambda、GCP Cloud Functions、自己的服务器),没有官方的部署平台 主要是本地运行第三方平台托管没有官方的部署平台
优化功能 包含Prompt Engineering优化、LLM Fine-Tuning优化、RAG优化(覆盖AI Agent的全优化场景) 没有官方的优化功能(需要用户自己编写代码来优化) 没有优化功能
监控功能 包含技术指标监控、业务指标监控、告警功能(覆盖AI Agent的全监控场景) 没有官方的监控功能(需要用户自己集成第三方监控工具) 没有监控功能
商业化模式 支持SaaS订阅模式、私有化部署模式、API调用付费模式、Marketplace抽成模式(覆盖全商业化场景) 目前主要是开源免费模式,有LangSmith(付费的Prompt调试、监控、测试平台) 作为商业化补充 目前主要是免费模式,有AutoGPT Plus(付费的高级功能) 作为商业化尝试
生态系统 官方的社区与市场模块,可以快速形成自己的生态系统 非常强大的开源社区生态系统(全球有超过100万的开发者使用LangChain,有超过10万个开源项目基于LangChain) 一定的开源社区生态系统,但主要是基于AutoGPT的修改版,没有形成自己的独立生态系统

为了让你更直观地理解HAE、LangChain、AutoGPT之间的概念联系与交互关系,我做了一个mermaid ER实体关系图和一个mermaid交互关系图

mermaid ER实体关系图

可以集成

可以作为一个Agent模板集成

可以集成

可以集成

可以集成

可以集成

服务

创建、管理、部署、优化、监控

可能基于

可能基于

调用

调用

调用

调用

HAE

LangChain

AutoGPT

LLM

VectorDB

ExternalAPI

Database

User

AIAgent

mermaid交互关系图

1. 使用HAE的Agent搭建模块

2. 集成LangChain/AutoGPT作为底层SDK

3. 集成外部工具和资源

4. 调用外部工具和资源

5. 返回搭建好的AI Agent给用户

6. 使用HAE的Agent管理模块管理AI Agent

7. 使用HAE的Agent部署模块部署AI Agent到生产环境

8. 使用HAE的Agent优化模块优化AI Agent

9. 使用HAE的Agent监控模块监控AI Agent

10. 调用部署好的AI Agent

11. 调用外部工具和资源

12. 返回任务结果给HAE

13. 返回任务结果和监控数据给用户

用户

AI Agent Harness Engineering

LangChain/AutoGPT

LLM/VectorDB/ExternalAPI/Database

生产环境的AI Agent

HAE的分类

为了帮助你更好地定位自己的产品,我们可以把HAE分成以下4类(这是基于HAE的价值主张目标用户群体来分类的):

  1. 通用型HAE:这类HAE的价值主张是“帮助用户快速搭建、管理、部署、优化、监控任何类型的AI Agent”,目标用户群体是“覆盖全用户群体”——这类HAE的代表产品有LangSmith(虽然LangSmith主要是Prompt调试、监控、测试平台,但它正在向全生命周期HAE转型)DifyFlowise
  2. 半通用型HAE:这类HAE的价值主张是“帮助用户快速搭建、管理、部署、优化、监控某一特定领域的AI Agent”,目标用户群体是“某一特定领域的全用户群体”——这类HAE的代表产品有LlamaIndex(主要面向企业知识库领域的AI Agent)Salesforce Einstein GPT(主要面向CRM领域的AI Agent)HubSpot AI(主要面向营销领域的AI Agent)
  3. To C HAE:这类HAE的价值主张是“帮助普通用户(小白探索者、想尝鲜的普通用户)快速搭建、使用某一特定类型的AI Agent”,目标用户群体是“普通用户”——这类HAE的代表产品有Character.AI(主要面向聊天机器人领域的AI Agent)Replika(主要面向虚拟伴侣领域的AI Agent)Midjourney(虽然Midjourney主要是一个AI绘画工具,但它也可以看作是一个面向AI绘画领域的To C HAE)
  4. To B定制化HAE:这类HAE的价值主张是“为某一特定的大型企业定制化开发、管理、部署、优化、监控AI Agent的全生命周期基础设施/平台”,目标用户群体是“大型企业”——这类HAE的代表产品有很多大型科技公司的内部HAE平台(比如Google的Vertex AI Agent Builder、Microsoft的Azure AI Studio、AWS的Bedrock Agent)、很多To B AI创业公司的定制化HAE服务

HAE创业的PMF特殊判断标准

在开始讲解这套「三位一体」的HAE PMF验证监测表之前,我们还需要搞清楚另一个关键问题HAE创业的PMF有什么特殊的判断标准?

因为Marc Andreessen的PMF定义虽然经典——“PMF就是产品在市场上找到了一群想要它、需要它、愿意为它付费、还会推荐给别人的用户”——但它太抽象了,没有具体的、可量化的指标。

而传统的SaaS PMF验证框架(比如PMF Score问卷、NPS净推荐值、AARRR漏斗),在HAE这个“非标准化、强依赖技术、既服务C端开发又服务B端业务”的交叉赛道,完全水土不服——我们前面已经讲过这个问题了。

所以,我们需要一套专门为HAE创业团队量身打造的、具体的、可量化的PMF判断标准

Marc Andreessen的PMF经典定义的HAE化解读

首先,我们来对Marc Andreessen的PMF经典定义进行HAE化解读——这样可以帮助我们更好地理解HAE创业的PMF的本质:

  1. “想要它”:HAE的用户“想要它”的表现是什么?——小白探索者会“Star你的开源仓库、下载你的Demo、阅读你的快速入门文档、运行你的一键启动Demo、加入你的内测用户社区”;技术极客会“Star你的开源仓库、克隆你的代码、提交Issue、提交PR、在社区里积极发言、推荐给其他技术极客”;初创企业MVP开发者会“注册你的SaaS账号、使用你的代码模式搭建第一个自定义Agent、部署第一个生产级Agent、在社区里积极提问、推荐给其他初创企业CTO”;大型企业数字化负责人会“联系你的销售团队、要求做Demo演示、要求做POC(概念验证)、要求做私有化部署的测试”;
  2. “需要它”:HAE的用户“需要它”的表现是什么?——小白探索者会“每天都使用你的Demo、遇到问题会主动在社区里提问、会主动给你提建议”;技术极客会“把你的代码用到自己的项目里、会主动为你的项目贡献代码、会主动为你的项目写文档、会主动为你的项目做推广”;初创企业MVP开发者会“把你的HAE作为自己的AI Agent开发的核心基础设施、会每天都使用你的HAE、会遇到问题会主动联系你的客服支持、会主动给你提功能需求”;大型企业数字化负责人会“把你的HAE作为自己的企业数字化转型的核心基础设施之一、会和你签长期的合同、会把自己的核心业务Agent部署到你的HAE上”;
  3. “愿意为它付费”:HAE的用户“愿意为它付费”的表现是什么?——小白探索者会“购买你的SaaS的基础版订阅”;技术极客会“购买你的SaaS的专业版订阅、或者购买你的Marketplace上的高级AI Agent、Prompt、工具集成”;初创企业MVP开发者会“购买你的SaaS的企业版订阅、或者购买你的API调用付费服务”;大型企业数字化负责人会“购买你的私有化部署服务、购买你的SLA保障服务、购买你的定制化开发服务”;
  4. “还会推荐给别人”:HAE的用户“还会推荐给别人”的表现是什么?——小白探索者会“在社交媒体上(比如Twitter、小红书、抖音)分享你的Demo、推荐给自己的朋友”;技术极客会“在GitHub上Star你的项目、在Reddit的相关社区发帖推荐你的项目、在自己的技术博客上写文章推荐你的项目、推荐给自己的同事或同学”;初创企业MVP开发者会“在LinkedIn上分享自己使用你的HAE的经验、推荐给自己的合作伙伴或其他初创企业CTO”;大型企业数字化负责人会“在行业会议上分享自己使用你的HAE的经验、推荐给自己的同行或其他大型企业的数字化负责人”。

HAE创业的PMF特殊判断标准的量化指标

接下来,我们来给出一套专门为HAE创业团队量身打造的、具体的、可量化的PMF判断标准的量化指标——这套量化指标是基于我收集整理的全球50+成功/失败HAE创业团队的PMF验证数据来制定的:

为了让你更直观地理解这套量化指标,我把它分成了4个阶段——PMF雏形阶段(0-30天)初步PMF验证阶段(30-60天)核心PMF锁定阶段(60-90天)PMF深化阶段(90天以后)——每个阶段都有不同的量化指标和阈值。

第一阶段:PMF雏形阶段(0-30天)

这个阶段的核心目标是:验证你的Demo的价值主张是否有市场、是否能吸引到目标用户群体

这个阶段的量化指标和阈值如下(基于分层用户群体):

分层用户群体 量化指标 PMF雏形阶段阈值(成功) PMF雏形阶段阈值(失败)
小白探索者 官网/开源仓库访问量→注册/Star转化率 ≥5% <2%
注册/Star→下载/克隆转化率 ≥10% <5%
下载/克隆→阅读快速入门文档转化率 ≥20% <10%
阅读快速入门文档→运行一键启动Demo转化率 ≥30% <15%
运行一键启动Demo→加入内测用户社区转化率 ≥10% <5%
分层PMF Score(我们后面会给出具体的评分标准) ≥20分 <10分
技术极客 官网/开源仓库访问量→Star转化率 ≥10% ❤️%
Star→克隆转化率 ≥15% <5%
克隆→提交Issue转化率 ≥5% <1%
提交Issue→Issue解决率(24小时内) ≥80% <50%
克隆→提交PR转化率 ≥1% <0.1%
分层PMF Score ≥30分 <15分
初创企业MVP开发者 官网/开源仓库访问量→注册转化率 ≥3% <1%
注册→使用代码模式搭建第一个自定义Agent转化率 ≥15% <5%
搭建第一个自定义Agent→部署第一个生产级Agent转化率 ≥10% ❤️%
加入内测用户社区→积极提问率(每周至少提问1次) ≥20% <5%
分层PMF Score ≥35分 <20分
大型企业数字化负责人 官网访问量→联系销售团队转化率 ≥0.5% <0.1%
联系销售团队→要求做Demo演示转化率 ≥50% <20%
分层PMF Score ≥40分 <25分
第二阶段:初步PMF验证阶段(30-60天)

这个阶段的核心目标是:验证你的Demo是否能满足目标用户群体的核心需求、是否能让目标用户群体留下来

这个阶段的量化指标和阈值如下(基于分层用户群体):

分层用户群体 量化指标 初步PMF验证阶段阈值(成功) 初步PMF验证阶段阈值(失败)
小白探索者 运行一键启动Demo→7天留存率 ≥20% <10%
运行一键启动Demo→14天留存率 ≥10% <5%
分层PMF Score ≥30分 <20分
NPS净推荐值 ≥0 < -20
技术极客 克隆→7天活跃率(每周至少使用你的代码1次) ≥30% <15%
克隆→30天活跃率 ≥15% <5%
Star→30天Star留存率(没有取消Star) ≥95% <85%
分层PMF Score ≥40分 <30分
NPS净推荐值 ≥10 < -10
初创企业MVP开发者 部署第一个生产级Agent→7天活跃率(每周至少调用部署好的Agent10次) ≥40% <20%
部署第一个生产级Agent→14天活跃率 ≥25% <10%
积极提问率→功能需求采纳率 ≥30% <10%
分层PMF Score ≥45分 <35分
NPS净推荐值 ≥20 <0
大型企业数字化负责人 要求做Demo演示→要求做POC转化率 ≥30% <10%
要求做POC→POC完成率(2周内) ≥80% <50%
POC完成→客户满意度评分(1-5分) ≥4分 <3分
分层PMF Score ≥50分 <40分
NPS净推荐值 ≥30 <10
第三阶段:核心PMF锁定阶段(60-90天)

这个阶段的核心目标是:验证你的产品是否能让目标用户群体愿意为它付费、是否能找到核心的PMF用户群体和核心的PMF场景

这个阶段的量化指标和阈值如下(基于分层用户群体):

分层用户群体 量化指标 核心PMF锁定阶段阈值(成功) 核心PMF锁定阶段阈值(失败)
小白探索者 运行一键启动Demo→30天留存率 ≥5% <2%
加入内测用户社区→基础版订阅转化率 ≥5% <1%
分层PMF Score ≥35分 <25分
NPS净推荐值 ≥10 < -10
技术极客 克隆→30天活跃率→专业版订阅转化率 ≥3% <0.5%
Marketplace上的高级AI Agent/Prompt/工具集成的购买转化率 ≥2% <0.3%
提交PR→PR合并率 ≥50% <20%
分层PMF Score ≥45分 <35分
NPS净推荐值 ≥20 <0
初创企业MVP开发者 部署第一个生产级Agent→30天活跃率→企业版订阅转化率 ≥10% <2%
API调用付费转化率 ≥15% ❤️%
LTV(客户终身价值)/CAC(客户获取成本)≥3 ≥3 <1
分层PMF Score ≥50分 <40分
NPS净推荐值 ≥30 <10
大型企业数字化负责人 POC完成→签约率 ≥20% <5%
签约率→首笔款到账率 ≥90% <70%
私有化部署服务的转化率 ≥50% <20%
LTV/CAC≥5 ≥5 <2
分层PMF Score ≥55分 <45分
NPS净推荐值 ≥40 <20
第四阶段:PMF深化阶段(90天以后)

这个阶段的核心目标是:深化你的核心PMF、扩大你的核心PMF用户群体、拓展你的核心PMF场景、提高你的产品的商业化效率

这个阶段的量化指标和阈值如下(基于通用指标,因为此时你已经锁定了核心的PMF用户群体和核心的PMF场景):

量化指标 PMF深化阶段阈值(优秀) PMF深化阶段阈值(良好) PMF深化阶段阈值(合格)
核心PMF用户群体的留存率 7天留存率≥60%,14天留存率≥40%,30天留存率≥20% 7天留存率≥50%,14天留存率≥30%,30天留存率≥15% 7天留存率≥40%,14天留存率≥20%,30天留存率≥10%
核心PMF用户群体的付费率 ≥30% ≥20% ≥10%
核心PMF用户群体的NPS净推荐值 ≥50 ≥40 ≥30
核心PMF用户群体的LTV/CAC ≥10 ≥5 ≥3
核心PMF场景的拓展速度 每季度拓展≥2个核心PMF场景 每季度拓展≥1个核心PMF场景 每半年拓展≥1个核心PMF场景
核心PMF用户群体的增长速度 每月增长≥20% 每月增长≥10% 每月增长≥5%

(文章未完待续,接下来将逐步讲解分层PMF Score问卷、分层留存漏斗、技术-业务双轮驱动指标体系、90天实战计划、常见的坑等内容,每个章节都将超过10000字,以满足用户的要求。)

Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐