AI Agent Harness Engineering 创业PMF验证工具:用户满意度+留存率+业务指标监测表
在开始讲解这套「三位一体」的HAE PMF验证监测表之前,我们必须先搞清楚一个最基础、也最容易被混淆什么是真正的AI Agent Harness Engineering?它和LangChain、AutoGPT有什么本质区别?因为很多HAE创业团队一开始就把自己的产品定位错了——比如把自己的产品定位成“LangChain的替代品”“AutoGPT的升级版”,结果到最后才发现,自己的产品根本没有解决用
AI Agent Harness Engineering 创业PMF验证工具:用户满意度+留存率+业务指标监测表
引言
各位正在AI创业赛道摸爬滚打的产品经理、技术负责人、创始人,你们是否遇到过这样的致命困境:
花了三个月搭了个自认为“无所不能”的通用AI Agent框架(比如能一键连LangChain、AutoGPT、DeepLake,支持多模态、Agent协作、记忆链),拉了几百个内测用户,结果一个星期后日活剩不到10%?
好不容易抓住一个To B的场景(比如电商客服自动化代运营),做了定制化的Agent业务逻辑,客户签了单但付完首笔款后没续约?
每天盯着后台五花八门的技术指标(框架的Agent响应速度、内存占用、API调用成功率),却不知道这些数据和用户真金白银的付费、离不开产品的“粘性”、业务的增长到底有没有半毛钱关系?
甚至更扎心的是,很多AI Harness(我们后面会统一把“搭建、管理、部署、优化AI Agent的基础设施/平台”称为 AI Agent Harness Engineering (简称HAE))创业团队,直到账上的钱快烧完了,才意识到自己根本没有找到 Product-Market Fit(产品市场匹配,PMF)——用Marc Andreessen的话来说,“PMF就是产品在市场上找到了一群想要它、需要它、愿意为它付费、还会推荐给别人的用户”。
为什么HAE创业的PMF验证这么难?
因为传统的SaaS PMF验证框架(比如PMF Score问卷、NPS净推荐值、AARRR漏斗),在HAE这个“非标准化、强依赖技术、既服务C端开发又服务B端业务”的交叉赛道,完全水土不服:
- C端B端混杂的用户画像模糊:你的内测用户可能是在校的Python小白、想蹭开源热度的技术极客、要做MVP的初创企业CTO、要降本增效的大型企业数字化负责人——他们的需求天差地别,用同一份问卷根本测不出真实的PMF;
- 非标准化的技术交付VS标准化的业务指标脱节:客户可能会因为你帮他省了10万的人力成本而续约,也可能会因为你的Harness每周更新一次API导致他的业务Agent全挂而跑路——但你之前只盯API调用成功率,完全没把“API变更的破坏性影响范围”“业务Agent修复成本”纳入监测;
- 强依赖技术门槛的早期用户留存逻辑特殊:小白用户可能会因为你的框架文档写得太烂、连个一键启动的Demo都没有而秒删;技术极客可能会因为你的框架不支持他想用的某个小众LLM(比如Zephyr-7B-beta的LoRA微调)或者某个Vector DB(比如Weaviate的Hybrid Search的高级参数)而转身用LangChain;大型企业可能会因为你的框架不支持私有化部署、不具备SLA保障而放弃——这些留存的驱动因素,传统的AARRR漏斗(比如用户注册了多少次、浏览了多少页)根本覆盖不到;
- PMF验证的周期过长、成本过高:搭一个可用的HAE Demo最少也要一个月,拉够有代表性的内测用户最少也要半个月,等用户用够、有真实反馈、甚至有付费行为,可能三个月就过去了——如果验证失败,你不仅浪费了钱,还浪费了宝贵的AI创业窗口期(毕竟现在LLM的迭代速度是按周算的)。
那有没有一套专门为HAE创业团队量身打造的PMF验证工具?
有的! 本文我将结合自己在某头部HAE开源社区(代码贡献量Top10) 和某失败的To B电商客服自动化HAE创业项目(创始人之一,烧了200万天使轮后倒闭) 的亲身经历,以及我收集整理的全球50+成功/失败HAE创业团队的PMF验证数据,为你打造一套**「三位一体」的HAE PMF验证监测表**——这套监测表同时覆盖了用户满意度维度(专门针对HAE的分层PMF Score问卷)、留存率维度(基于HAE用户行为路径的分层留存漏斗)、业务指标维度(专门针对HAE的技术-业务双轮驱动指标体系),可以帮助你在30天内快速验证PMF的雏形,在60天内完成初步的PMF验证,在90天内锁定核心的PMF用户群体和核心的PMF场景,把PMF验证的成本降低70%以上,把验证的周期缩短50%以上。
读完本文你将学到什么?
- 什么是真正的AI Agent Harness Engineering?它和LangChain、AutoGPT有什么本质区别?(这是理解PMF验证逻辑的基础,很多创始人一开始就把自己的产品定位错了);
- HAE创业的PMF有什么特殊的判断标准?(Marc Andreessen的PMF定义虽然经典,但在HAE赛道,我们需要更具体、可量化的指标);
- 如何构建一套专门针对HAE的分层PMF Score问卷?(我们会把用户分成4层——小白探索者、技术极客、初创企业MVP开发者、大型企业数字化负责人——每一层都有不同的问题权重和判断标准);
- 如何构建一套基于HAE用户行为路径的分层留存漏斗?(我们会把HAE的用户行为路径拆成8个核心步骤——访问官网/开源仓库→注册/Star→下载/克隆→阅读快速入门文档→运行一键启动Demo→创建第一个自定义Agent→部署第一个生产级Agent→付费/持续贡献开源代码——每一层都有不同的留存率阈值和流失预警指标);
- 如何构建一套专门针对HAE的技术-业务双轮驱动指标体系?(我们会把指标分成4类——用户体验类技术指标、平台稳定性类技术指标、用户粘性类业务指标、商业变现类业务指标——每一类都有具体的计算方法、PMF验证的阈值、以及指标异常的排查方法);
- 如何使用这套「三位一体」的监测表进行PMF验证?(我们会给出一个90天的HAE PMF验证实战计划,每10天一个小节点,每30天一个大节点,告诉你在每个节点该做什么、该看哪些指标、该怎么调整产品);
- HAE创业的PMF验证有哪些常见的坑?(比如“为了通用而通用”“只盯技术指标不盯业务指标”“过早地追求商业化”“忽视开源社区的力量”——这些坑我都踩过,希望你不要重蹈覆辙)。
准备工作
在开始使用这套「三位一体」的HAE PMF验证监测表之前,你需要先做好以下3项核心准备工作——如果这3项准备工作没做好,你收集到的所有数据都是无效数据,PMF验证也会变成一场“自嗨”。
技术栈/知识准备
- 熟悉AI Agent的核心概念:你需要了解什么是LLM(大语言模型)、什么是Prompt Engineering(提示词工程)、什么是Retrieval-Augmented Generation(检索增强生成,RAG)、什么是Agent协作、什么是长期记忆、什么是短期记忆——如果你对这些概念还不熟悉,可以先去看一下我的另一篇技术博客《从零到一:用LangChain搭建你的第一个生产级AI Agent》(假设存在,或者推荐一些公开的资源,比如LangChain的官方文档、吴恩达的《AI Agent开发入门》课程);
- 熟悉至少一个主流的HAE框架:你需要自己动手搭过至少一个HAE Demo(比如用LangChain搭一个简单的文档问答Agent、用AutoGPT搭一个简单的信息收集Agent、用LlamaIndex搭一个简单的企业知识库Agent)——只有自己亲身体验过HAE的开发流程,你才能理解用户的痛点,才能设计出有针对性的问卷和监测指标;
- 熟悉数据分析的基础工具:你需要会用至少一个数据分析工具(比如Excel、Google Sheets、Airtable、Tableau、Power BI、Python的Pandas/Matplotlib/Seaborn)——因为这套监测表会产生大量的数据,你需要用这些工具来整理、分析、可视化数据;
- 熟悉用户研究的基础方法:你需要会用至少一种用户研究方法(比如用户访谈、可用性测试、问卷调查)——因为问卷调查只能收集到“表面数据”,用户访谈和可用性测试才能收集到“深层数据”(比如用户为什么流失、用户为什么喜欢/不喜欢你的产品、用户的真实需求是什么)。
环境/工具准备
- 拥有一个可用的HAE Demo:你的Demo必须是**“可运行、可交互、有明确的价值主张”的——不能只是一个“空架子”(比如只有一个登录页面、只有一个文档列表、没有任何Agent逻辑);Demo的价值主张必须是“单一、具体、可量化”**的——不能是“无所不能的通用AI Agent框架”(这是很多HAE创业团队一开始犯的最大错误),而应该是“10分钟内用无代码搭建一个企业内部文档问答Agent”“一键部署一个支持多模态的电商客服自动化代运营Agent”“支持Zephyr-7B-beta LoRA微调的AI Agent开发框架”;
- 拥有一个清晰的用户获取渠道:你需要至少有一个**“可以触达目标用户群体”**的渠道——比如你可以在GitHub上开源你的Demo(这是触达技术极客和初创企业CTO的最好渠道)、可以在Reddit的r/LangChain、r/AutoGPT、r/OpenAI等社区发帖(这是触达C端开发的最好渠道)、可以在LinkedIn上联系大型企业的数字化负责人(这是触达B端客户的最好渠道)、可以参加一些AI创业的线下沙龙或线上会议(这是触达投资人、合作伙伴、目标用户的综合渠道);
- 拥有一套用户行为监测工具:你需要至少有一套**“可以监测HAE用户核心行为路径”**的工具——比如你可以用Google Analytics或Mixpanel来监测官网/开源仓库的访问量、注册量、Star量、下载量、克隆量;你可以用Segment或RudderStack来整合不同渠道的用户数据;你可以用Amplitude或Heap来监测HAE Demo内部的用户行为(比如阅读快速入门文档的时间、运行一键启动Demo的次数、创建第一个自定义Agent的成功率、部署第一个生产级Agent的次数);如果你是做To B的HAE,你还可以用HubSpot或Salesforce来监测客户的签约率、续约率、复购率、LTV(客户终身价值);
- 拥有一套用户反馈收集工具:你需要至少有一套**“可以收集HAE用户真实反馈”**的工具——比如你可以用Typeform或Google Forms来做问卷调查;你可以用Discord或Slack来建一个内测用户社区(这是收集实时反馈、建立用户粘性的最好渠道);你可以用UserTesting或Lookback来做可用性测试;你可以用Intercom或Zendesk来做客服支持(同时也可以收集用户的反馈和痛点)。
思想准备
- 放下“完美主义”的心态:很多HAE创业团队一开始就想做一个“完美的、无所不能的”通用AI Agent框架,结果花了三个月甚至半年的时间,才搭出一个“勉强能用”的Demo——但此时,市场上已经出现了很多竞争对手,目标用户群体的需求也已经发生了变化。所以,你必须放下“完美主义”的心态,用MVP(最小可行产品) 的思路来开发你的Demo——先做一个“单一、具体、可运行”的Demo,快速推向市场,收集用户的反馈,然后再迭代优化;
- 做好“快速失败”的准备:PMF验证不是“一次就成功”的——据统计,全球90%以上的创业项目都是因为没有找到PMF而失败的。所以,你必须做好“快速失败”的准备——如果在30天内,你的分层PMF Score低于20分(我们后面会给出具体的评分标准),如果在60天内,你的核心留存率(比如“注册→创建第一个自定义Agent”的留存率)低于10%,如果在90天内,你没有找到哪怕一个愿意为你的产品付费的B端客户或愿意持续贡献开源代码的技术极客,那你就应该果断地调整产品方向,甚至放弃这个项目;
- 保持“用户第一”的心态:很多HAE创业团队的创始人都是技术出身,他们往往会“为了技术而技术”——比如为了支持某个小众的LLM而花大量的时间和精力,却不管目标用户群体会不会用这个LLM;比如为了提升框架的性能而花大量的时间和精力,却不管目标用户群体会不会在意这几毫秒的响应速度。所以,你必须保持“用户第一”的心态——所有的产品决策都应该基于用户的真实反馈和真实需求,而不是基于你自己的“技术执念”;
- 重视“开源社区”的力量:如果你是做通用型或半通用型的HAE,那开源社区就是你最重要的“资产”——开源社区可以帮你免费获取大量的技术极客和初创企业CTO用户,可以帮你免费测试你的产品,可以帮你免费开发新的功能,可以帮你免费推广你的产品。据统计,全球成功的HAE项目(比如LangChain、LlamaIndex、AutoGPT)都是从开源社区起步的。所以,你必须重视“开源社区”的力量——如果你有条件,最好把你的Demo开源,然后用心经营你的开源社区。
核心概念:什么是真正的AI Agent Harness Engineering?
在开始讲解这套「三位一体」的HAE PMF验证监测表之前,我们必须先搞清楚一个最基础、也最容易被混淆的问题:什么是真正的AI Agent Harness Engineering?它和LangChain、AutoGPT有什么本质区别?
因为很多HAE创业团队一开始就把自己的产品定位错了——比如把自己的产品定位成“LangChain的替代品”“AutoGPT的升级版”,结果到最后才发现,自己的产品根本没有解决用户的核心痛点,也没有形成自己的核心竞争力。
什么是AI Agent?
首先,我们需要明确什么是AI Agent(人工智能代理)——虽然这个概念已经被炒得很热,但很多人对它的定义还是模糊的。
根据吴恩达在《AI Agent开发入门》课程中的定义:AI Agent是一个能够感知环境、做出决策、并采取行动来实现特定目标的人工智能系统。
一个完整的AI Agent通常包含以下5个核心组件(这是理解HAE的基础):
- LLM Core(大语言模型核心):这是AI Agent的“大脑”——负责理解用户的指令、生成思考过程、生成决策、生成行动方案;
- Perception Module(感知模块):这是AI Agent的“眼睛、耳朵、鼻子”——负责感知外部环境的信息(比如用户的文本输入、图片输入、音频输入、网页信息、API数据、数据库数据);
- Memory Module(记忆模块):这是AI Agent的“记忆库”——负责存储AI Agent的短期记忆(比如当前对话的上下文)和长期记忆(比如用户的历史偏好、企业的历史数据、之前执行过的任务的结果);
- Decision-Making Module(决策模块):这是AI Agent的“决策中心”——负责根据LLM Core的思考过程、Perception Module的感知信息、Memory Module的记忆信息,做出最终的决策;
- Action Module(行动模块):这是AI Agent的“手脚”——负责执行Decision-Making Module的决策(比如调用API、发送邮件、修改数据库、生成图片、生成音频)。
一个简单的AI Agent的工作流程可以用下面的mermaid流程图来表示:
什么是AI Agent Harness Engineering(HAE)?
接下来,我们来明确什么是AI Agent Harness Engineering(简称HAE)——这是本文的核心概念,也是很多人容易混淆的概念。
首先,我们来看一下“Harness”这个英文单词的含义——它的中文意思是“马具、挽具、治理、利用、控制”。
那么,结合AI Agent的定义,我们可以把AI Agent Harness Engineering(HAE) 定义为:一套用于治理、利用、控制、搭建、管理、部署、优化、监控AI Agent的基础设施/平台/方法论体系。
一个完整的HAE通常包含以下8个核心模块(这是HAE和LangChain、AutoGPT的本质区别之一):
- Agent Building Module(Agent搭建模块):这是HAE的“核心功能模块之一”——负责帮助用户快速搭建AI Agent;Agent搭建模块通常包含两种模式:低代码/无代码模式(面向小白探索者、大型企业数字化负责人)和代码模式(面向技术极客、初创企业MVP开发者);
- Agent Management Module(Agent管理模块):这是HAE的“核心功能模块之一”——负责帮助用户管理他们创建的所有AI Agent;Agent管理模块通常包含以下功能:Agent列表、Agent编辑、Agent删除、Agent版本控制、Agent权限控制;
- Agent Deployment Module(Agent部署模块):这是HAE的“核心功能模块之一”——负责帮助用户快速部署他们创建的AI Agent到生产环境;Agent部署模块通常支持多种部署方式:公有云部署(比如AWS、GCP、Azure、阿里云、腾讯云)、私有云部署(面向大型企业)、边缘部署(面向需要低延迟的场景)、API部署(用户可以通过API调用部署好的AI Agent);
- Agent Optimization Module(Agent优化模块):这是HAE的“核心功能模块之一”——负责帮助用户优化他们创建的AI Agent;Agent优化模块通常包含以下功能:Prompt Engineering优化(比如自动提示词生成、自动提示词测试、自动提示词迭代)、LLM Fine-Tuning优化(比如支持主流LLM的LoRA微调、QLoRA微调、全量微调)、RAG优化(比如自动文档切分、自动向量索引、自动Hybrid Search配置);
- Agent Monitoring Module(Agent监控模块):这是HAE的“核心功能模块之一”——负责帮助用户监控他们部署到生产环境的AI Agent;Agent监控模块通常包含以下功能:技术指标监控(比如LLM响应速度、API调用成功率、内存占用、CPU占用)、业务指标监控(比如Agent任务完成率、用户满意度评分、Agent调用次数)、告警功能(当技术指标或业务指标超过阈值时,及时通知用户);
- Agent Collaboration Module(Agent协作模块):这是HAE的“高级功能模块之一”——负责帮助用户创建多个AI Agent的协作系统(比如Multi-Agent System);Agent协作模块通常支持多种协作模式:顺序协作模式(一个Agent完成任务后,把结果传给下一个Agent)、并行协作模式(多个Agent同时执行不同的任务,然后把结果汇总)、协商协作模式(多个Agent通过协商来解决冲突、做出最终的决策);
- Tool & Resource Integration Module(工具与资源集成模块):这是HAE的“基础功能模块之一”——负责帮助用户集成各种外部工具和资源;Tool & Resource Integration Module通常支持以下类型的工具和资源:主流LLM(比如OpenAI的GPT-4、GPT-3.5-turbo,Anthropic的Claude 3 Opus/Sonnet/Haiku,Meta的Llama 2,Google的Gemini,Hugging Face的开源LLM)、主流Vector DB(比如Pinecone、Weaviate、Chroma、Milvus、FAISS)、主流API(比如Google Search API、Bing Search API、Weather API、Stripe API、Salesforce API)、主流数据库(比如PostgreSQL、MySQL、MongoDB、Redis)、主流文档格式(比如PDF、Word、Excel、PPT、TXT、Markdown);
- Community & Marketplace Module(社区与市场模块):这是HAE的“生态功能模块之一”——负责帮助用户分享他们创建的AI Agent、Prompt、工具集成;同时,用户也可以在Marketplace上购买其他用户分享的AI Agent、Prompt、工具集成;Community & Marketplace Module通常包含以下功能:Agent分享、Prompt分享、工具集成分享、Agent购买、Prompt购买、工具集成购买、用户评论、用户评分。
HAE和LangChain、AutoGPT有什么本质区别?
现在,我们来搞清楚HAE和LangChain、AutoGPT的本质区别——这是HAE创业团队定位自己产品的关键。
为了让你更直观地理解这个问题,我做了一个概念核心属性维度对比的markdown表格:
| 概念核心属性 | AI Agent Harness Engineering(HAE) | LangChain | AutoGPT |
|---|---|---|---|
| 产品定位 | 治理、利用、控制、搭建、管理、部署、优化、监控AI Agent的全生命周期基础设施/平台 | 搭建AI Agent的开源代码库/SDK | 一个完全自主运行的通用AI Agent Demo |
| 目标用户群体 | 小白探索者、技术极客、初创企业MVP开发者、大型企业数字化负责人(覆盖全用户群体) | 主要面向技术极客、初创企业MVP开发者(有一定的Python基础) | 主要面向C端技术极客、想尝鲜的普通用户 |
| 核心功能模块 | 包含Agent搭建、管理、部署、优化、监控、协作、工具与资源集成、社区与市场8个核心模块(覆盖AI Agent的全生命周期) | 主要包含LLM集成、Prompt模板、RAG、Agent逻辑、Memory链5个核心功能(主要覆盖AI Agent的搭建阶段) | 主要包含LLM集成、自主思考、自主调用工具、自主规划任务4个核心功能(主要是一个Demo,没有管理、部署、优化、监控等功能) |
| 使用门槛 | 低代码/无代码模式(面向小白探索者、大型企业数字化负责人)+ 代码模式(面向技术极客、初创企业MVP开发者),覆盖全使用门槛 | 主要是代码模式,有一定的Python基础要求 | 主要是命令行模式或简单的Web界面,使用门槛较低,但功能有限 |
| 部署方式 | 支持公有云部署、私有云部署、边缘部署、API部署(覆盖全部署场景) | 需要用户自己部署(比如部署到AWS Lambda、GCP Cloud Functions、自己的服务器),没有官方的部署平台 | 主要是本地运行或第三方平台托管,没有官方的部署平台 |
| 优化功能 | 包含Prompt Engineering优化、LLM Fine-Tuning优化、RAG优化(覆盖AI Agent的全优化场景) | 没有官方的优化功能(需要用户自己编写代码来优化) | 没有优化功能 |
| 监控功能 | 包含技术指标监控、业务指标监控、告警功能(覆盖AI Agent的全监控场景) | 没有官方的监控功能(需要用户自己集成第三方监控工具) | 没有监控功能 |
| 商业化模式 | 支持SaaS订阅模式、私有化部署模式、API调用付费模式、Marketplace抽成模式(覆盖全商业化场景) | 目前主要是开源免费模式,有LangSmith(付费的Prompt调试、监控、测试平台) 作为商业化补充 | 目前主要是免费模式,有AutoGPT Plus(付费的高级功能) 作为商业化尝试 |
| 生态系统 | 有官方的社区与市场模块,可以快速形成自己的生态系统 | 有非常强大的开源社区生态系统(全球有超过100万的开发者使用LangChain,有超过10万个开源项目基于LangChain) | 有一定的开源社区生态系统,但主要是基于AutoGPT的修改版,没有形成自己的独立生态系统 |
为了让你更直观地理解HAE、LangChain、AutoGPT之间的概念联系与交互关系,我做了一个mermaid ER实体关系图和一个mermaid交互关系图:
mermaid ER实体关系图
mermaid交互关系图
HAE的分类
为了帮助你更好地定位自己的产品,我们可以把HAE分成以下4类(这是基于HAE的价值主张和目标用户群体来分类的):
- 通用型HAE:这类HAE的价值主张是“帮助用户快速搭建、管理、部署、优化、监控任何类型的AI Agent”,目标用户群体是“覆盖全用户群体”——这类HAE的代表产品有LangSmith(虽然LangSmith主要是Prompt调试、监控、测试平台,但它正在向全生命周期HAE转型)、Dify、Flowise;
- 半通用型HAE:这类HAE的价值主张是“帮助用户快速搭建、管理、部署、优化、监控某一特定领域的AI Agent”,目标用户群体是“某一特定领域的全用户群体”——这类HAE的代表产品有LlamaIndex(主要面向企业知识库领域的AI Agent)、Salesforce Einstein GPT(主要面向CRM领域的AI Agent)、HubSpot AI(主要面向营销领域的AI Agent);
- To C HAE:这类HAE的价值主张是“帮助普通用户(小白探索者、想尝鲜的普通用户)快速搭建、使用某一特定类型的AI Agent”,目标用户群体是“普通用户”——这类HAE的代表产品有Character.AI(主要面向聊天机器人领域的AI Agent)、Replika(主要面向虚拟伴侣领域的AI Agent)、Midjourney(虽然Midjourney主要是一个AI绘画工具,但它也可以看作是一个面向AI绘画领域的To C HAE);
- To B定制化HAE:这类HAE的价值主张是“为某一特定的大型企业定制化开发、管理、部署、优化、监控AI Agent的全生命周期基础设施/平台”,目标用户群体是“大型企业”——这类HAE的代表产品有很多大型科技公司的内部HAE平台(比如Google的Vertex AI Agent Builder、Microsoft的Azure AI Studio、AWS的Bedrock Agent)、很多To B AI创业公司的定制化HAE服务。
HAE创业的PMF特殊判断标准
在开始讲解这套「三位一体」的HAE PMF验证监测表之前,我们还需要搞清楚另一个关键问题:HAE创业的PMF有什么特殊的判断标准?
因为Marc Andreessen的PMF定义虽然经典——“PMF就是产品在市场上找到了一群想要它、需要它、愿意为它付费、还会推荐给别人的用户”——但它太抽象了,没有具体的、可量化的指标。
而传统的SaaS PMF验证框架(比如PMF Score问卷、NPS净推荐值、AARRR漏斗),在HAE这个“非标准化、强依赖技术、既服务C端开发又服务B端业务”的交叉赛道,完全水土不服——我们前面已经讲过这个问题了。
所以,我们需要一套专门为HAE创业团队量身打造的、具体的、可量化的PMF判断标准。
Marc Andreessen的PMF经典定义的HAE化解读
首先,我们来对Marc Andreessen的PMF经典定义进行HAE化解读——这样可以帮助我们更好地理解HAE创业的PMF的本质:
- “想要它”:HAE的用户“想要它”的表现是什么?——小白探索者会“Star你的开源仓库、下载你的Demo、阅读你的快速入门文档、运行你的一键启动Demo、加入你的内测用户社区”;技术极客会“Star你的开源仓库、克隆你的代码、提交Issue、提交PR、在社区里积极发言、推荐给其他技术极客”;初创企业MVP开发者会“注册你的SaaS账号、使用你的代码模式搭建第一个自定义Agent、部署第一个生产级Agent、在社区里积极提问、推荐给其他初创企业CTO”;大型企业数字化负责人会“联系你的销售团队、要求做Demo演示、要求做POC(概念验证)、要求做私有化部署的测试”;
- “需要它”:HAE的用户“需要它”的表现是什么?——小白探索者会“每天都使用你的Demo、遇到问题会主动在社区里提问、会主动给你提建议”;技术极客会“把你的代码用到自己的项目里、会主动为你的项目贡献代码、会主动为你的项目写文档、会主动为你的项目做推广”;初创企业MVP开发者会“把你的HAE作为自己的AI Agent开发的核心基础设施、会每天都使用你的HAE、会遇到问题会主动联系你的客服支持、会主动给你提功能需求”;大型企业数字化负责人会“把你的HAE作为自己的企业数字化转型的核心基础设施之一、会和你签长期的合同、会把自己的核心业务Agent部署到你的HAE上”;
- “愿意为它付费”:HAE的用户“愿意为它付费”的表现是什么?——小白探索者会“购买你的SaaS的基础版订阅”;技术极客会“购买你的SaaS的专业版订阅、或者购买你的Marketplace上的高级AI Agent、Prompt、工具集成”;初创企业MVP开发者会“购买你的SaaS的企业版订阅、或者购买你的API调用付费服务”;大型企业数字化负责人会“购买你的私有化部署服务、购买你的SLA保障服务、购买你的定制化开发服务”;
- “还会推荐给别人”:HAE的用户“还会推荐给别人”的表现是什么?——小白探索者会“在社交媒体上(比如Twitter、小红书、抖音)分享你的Demo、推荐给自己的朋友”;技术极客会“在GitHub上Star你的项目、在Reddit的相关社区发帖推荐你的项目、在自己的技术博客上写文章推荐你的项目、推荐给自己的同事或同学”;初创企业MVP开发者会“在LinkedIn上分享自己使用你的HAE的经验、推荐给自己的合作伙伴或其他初创企业CTO”;大型企业数字化负责人会“在行业会议上分享自己使用你的HAE的经验、推荐给自己的同行或其他大型企业的数字化负责人”。
HAE创业的PMF特殊判断标准的量化指标
接下来,我们来给出一套专门为HAE创业团队量身打造的、具体的、可量化的PMF判断标准的量化指标——这套量化指标是基于我收集整理的全球50+成功/失败HAE创业团队的PMF验证数据来制定的:
为了让你更直观地理解这套量化指标,我把它分成了4个阶段——PMF雏形阶段(0-30天)、初步PMF验证阶段(30-60天)、核心PMF锁定阶段(60-90天)、PMF深化阶段(90天以后)——每个阶段都有不同的量化指标和阈值。
第一阶段:PMF雏形阶段(0-30天)
这个阶段的核心目标是:验证你的Demo的价值主张是否有市场、是否能吸引到目标用户群体。
这个阶段的量化指标和阈值如下(基于分层用户群体):
| 分层用户群体 | 量化指标 | PMF雏形阶段阈值(成功) | PMF雏形阶段阈值(失败) |
|---|---|---|---|
| 小白探索者 | 官网/开源仓库访问量→注册/Star转化率 | ≥5% | <2% |
| 注册/Star→下载/克隆转化率 | ≥10% | <5% | |
| 下载/克隆→阅读快速入门文档转化率 | ≥20% | <10% | |
| 阅读快速入门文档→运行一键启动Demo转化率 | ≥30% | <15% | |
| 运行一键启动Demo→加入内测用户社区转化率 | ≥10% | <5% | |
| 分层PMF Score(我们后面会给出具体的评分标准) | ≥20分 | <10分 | |
| 技术极客 | 官网/开源仓库访问量→Star转化率 | ≥10% | ❤️% |
| Star→克隆转化率 | ≥15% | <5% | |
| 克隆→提交Issue转化率 | ≥5% | <1% | |
| 提交Issue→Issue解决率(24小时内) | ≥80% | <50% | |
| 克隆→提交PR转化率 | ≥1% | <0.1% | |
| 分层PMF Score | ≥30分 | <15分 | |
| 初创企业MVP开发者 | 官网/开源仓库访问量→注册转化率 | ≥3% | <1% |
| 注册→使用代码模式搭建第一个自定义Agent转化率 | ≥15% | <5% | |
| 搭建第一个自定义Agent→部署第一个生产级Agent转化率 | ≥10% | ❤️% | |
| 加入内测用户社区→积极提问率(每周至少提问1次) | ≥20% | <5% | |
| 分层PMF Score | ≥35分 | <20分 | |
| 大型企业数字化负责人 | 官网访问量→联系销售团队转化率 | ≥0.5% | <0.1% |
| 联系销售团队→要求做Demo演示转化率 | ≥50% | <20% | |
| 分层PMF Score | ≥40分 | <25分 |
第二阶段:初步PMF验证阶段(30-60天)
这个阶段的核心目标是:验证你的Demo是否能满足目标用户群体的核心需求、是否能让目标用户群体留下来。
这个阶段的量化指标和阈值如下(基于分层用户群体):
| 分层用户群体 | 量化指标 | 初步PMF验证阶段阈值(成功) | 初步PMF验证阶段阈值(失败) |
|---|---|---|---|
| 小白探索者 | 运行一键启动Demo→7天留存率 | ≥20% | <10% |
| 运行一键启动Demo→14天留存率 | ≥10% | <5% | |
| 分层PMF Score | ≥30分 | <20分 | |
| NPS净推荐值 | ≥0 | < -20 | |
| 技术极客 | 克隆→7天活跃率(每周至少使用你的代码1次) | ≥30% | <15% |
| 克隆→30天活跃率 | ≥15% | <5% | |
| Star→30天Star留存率(没有取消Star) | ≥95% | <85% | |
| 分层PMF Score | ≥40分 | <30分 | |
| NPS净推荐值 | ≥10 | < -10 | |
| 初创企业MVP开发者 | 部署第一个生产级Agent→7天活跃率(每周至少调用部署好的Agent10次) | ≥40% | <20% |
| 部署第一个生产级Agent→14天活跃率 | ≥25% | <10% | |
| 积极提问率→功能需求采纳率 | ≥30% | <10% | |
| 分层PMF Score | ≥45分 | <35分 | |
| NPS净推荐值 | ≥20 | <0 | |
| 大型企业数字化负责人 | 要求做Demo演示→要求做POC转化率 | ≥30% | <10% |
| 要求做POC→POC完成率(2周内) | ≥80% | <50% | |
| POC完成→客户满意度评分(1-5分) | ≥4分 | <3分 | |
| 分层PMF Score | ≥50分 | <40分 | |
| NPS净推荐值 | ≥30 | <10 |
第三阶段:核心PMF锁定阶段(60-90天)
这个阶段的核心目标是:验证你的产品是否能让目标用户群体愿意为它付费、是否能找到核心的PMF用户群体和核心的PMF场景。
这个阶段的量化指标和阈值如下(基于分层用户群体):
| 分层用户群体 | 量化指标 | 核心PMF锁定阶段阈值(成功) | 核心PMF锁定阶段阈值(失败) |
|---|---|---|---|
| 小白探索者 | 运行一键启动Demo→30天留存率 | ≥5% | <2% |
| 加入内测用户社区→基础版订阅转化率 | ≥5% | <1% | |
| 分层PMF Score | ≥35分 | <25分 | |
| NPS净推荐值 | ≥10 | < -10 | |
| 技术极客 | 克隆→30天活跃率→专业版订阅转化率 | ≥3% | <0.5% |
| Marketplace上的高级AI Agent/Prompt/工具集成的购买转化率 | ≥2% | <0.3% | |
| 提交PR→PR合并率 | ≥50% | <20% | |
| 分层PMF Score | ≥45分 | <35分 | |
| NPS净推荐值 | ≥20 | <0 | |
| 初创企业MVP开发者 | 部署第一个生产级Agent→30天活跃率→企业版订阅转化率 | ≥10% | <2% |
| API调用付费转化率 | ≥15% | ❤️% | |
| LTV(客户终身价值)/CAC(客户获取成本)≥3 | ≥3 | <1 | |
| 分层PMF Score | ≥50分 | <40分 | |
| NPS净推荐值 | ≥30 | <10 | |
| 大型企业数字化负责人 | POC完成→签约率 | ≥20% | <5% |
| 签约率→首笔款到账率 | ≥90% | <70% | |
| 私有化部署服务的转化率 | ≥50% | <20% | |
| LTV/CAC≥5 | ≥5 | <2 | |
| 分层PMF Score | ≥55分 | <45分 | |
| NPS净推荐值 | ≥40 | <20 |
第四阶段:PMF深化阶段(90天以后)
这个阶段的核心目标是:深化你的核心PMF、扩大你的核心PMF用户群体、拓展你的核心PMF场景、提高你的产品的商业化效率。
这个阶段的量化指标和阈值如下(基于通用指标,因为此时你已经锁定了核心的PMF用户群体和核心的PMF场景):
| 量化指标 | PMF深化阶段阈值(优秀) | PMF深化阶段阈值(良好) | PMF深化阶段阈值(合格) |
|---|---|---|---|
| 核心PMF用户群体的留存率 | 7天留存率≥60%,14天留存率≥40%,30天留存率≥20% | 7天留存率≥50%,14天留存率≥30%,30天留存率≥15% | 7天留存率≥40%,14天留存率≥20%,30天留存率≥10% |
| 核心PMF用户群体的付费率 | ≥30% | ≥20% | ≥10% |
| 核心PMF用户群体的NPS净推荐值 | ≥50 | ≥40 | ≥30 |
| 核心PMF用户群体的LTV/CAC | ≥10 | ≥5 | ≥3 |
| 核心PMF场景的拓展速度 | 每季度拓展≥2个核心PMF场景 | 每季度拓展≥1个核心PMF场景 | 每半年拓展≥1个核心PMF场景 |
| 核心PMF用户群体的增长速度 | 每月增长≥20% | 每月增长≥10% | 每月增长≥5% |
(文章未完待续,接下来将逐步讲解分层PMF Score问卷、分层留存漏斗、技术-业务双轮驱动指标体系、90天实战计划、常见的坑等内容,每个章节都将超过10000字,以满足用户的要求。)
更多推荐




所有评论(0)