先说一个面试场上的真实观察。

这两年我面过的人、以及我带过的学员复盘回来的面试题,绕来绕去都逃不开同一个模式:

背概念的部分,面试官听得很平静。RAG、Agent、Function Calling、Prompt 工程——你说得再顺,他也就点点头,因为这些话他今天已经听了五遍。

真正让他坐直身体的,是另一种回答:

“这个任务我实测过,单步整理纪要 Agent 做得很稳,但跨五份文档做对比就开始漏要点,所以我会把对比步骤拆开,中间加一次人工确认。”

前一种人学过 AI,后一种人摸过 AI。这个岗位要的是后一种。

问题是,"摸过"这件事没人教。教程教你概念,不会教你一套自己动手建立理解的方法。今天这篇,就把我自己在用、也要求每个学员照着跑的实践框架,一步一步讲清楚。

整套框架就四步:建立对模型能力的理解 → 感受 Agent 的任务边界 → 理解模型与 Harness 的分工 → 接入自己的工作流。


一、建立对模型能力的理解:先混个"体感脸熟"

很多人对模型的理解停留在榜单分数上。分数当然要看,但分数不会告诉你"这个模型写出来的东西就是有一股翻译腔"——这种体感,只能靠用。

我的建议分两条腿走路。

第一条:多体验 SOTA 模型,攒场景。

不要只用一个模型。同一个任务,丢给不同的 SOTA 模型各跑一遍,场景多了、任务复杂度上去了,不同模型输出上的差异自然就浮出来了——有的指令遵循严但表现呆,有的发挥好但不稳定。这种判断力,榜单给不了你。

第二条:用权威榜单校准,别凭感觉下结论。

体感之外,有几个榜单值得长期盯着:

  • Artificial Analysis:能力评分、速度、价格都有官方数据,适合横向比"性价比";
  • Arena(原 LMArena):核心是用户盲测偏好,反映真实使用里大家更买谁的账;
  • OpenRouter:Rankings 看真实使用量,Benchmarks 看评测得分,两个视角交叉验证。

正确的用法是:结合你手头的任务看场景化得分,再挑两三款模型,用真实工作任务去感受它们的指令遵循、输出风格和可靠性。

榜单告诉你该试谁,你的任务告诉你谁好用。两条腿缺一条,理解都是悬空的。


二、感受 Agent 的任务边界:故意使坏,比正常使用学得快

这一步是整个框架里最容易出体感的一环,也是绝大多数转行者从来没做过的一环。

工具就用你手头的:Claude Code、ChatGPT 这类都行。关键不在工具,在测试方法——从单任务开始,一层一层加复杂度:

  • 一步做完的:整理一份会议纪要。基本稳。
  • 连续多步的:读几份竞品文档,输出对比结论。开始出现漏读、张冠李戴。
  • 动外部工具的:改文件、跑代码、调三方 CLI。错误率进一步上升,且错误形态变了——从"写错"变成"做错"。
  • 故意使坏的:中途打断它,或者故意少给一条关键信息,看它怎么反应。

最后一档最有价值。重点观察两件事:它从哪一步开始出错?出错时会不会主动提示?

这两个问题的答案,就是 AI 产品设计的底层依据:摸清了任务边界,你在设计产品时才知道——针对输出结果的不确定性,哪里可以放手让 AI 跑,哪里必须留人工确认,哪里要加一道校验环节。

没做过这一步的人设计 AI 功能,永远在两个极端之间摇摆:要么全信(上线就翻车),要么全防(做出来的产品比人工还慢)。摸过边界的人,心里有一条清晰的分界线。


三、理解模型与 Harness 的分工:学会给失败"归因"

先给一个公式:

Agent ≈ 基模 + Harness

基模提供理解、推理与生成能力;Harness 负责组织上下文、调度工具、执行循环、管理状态和权限。

为什么要分清这个?因为排障的逻辑完全不同。

同样是"Agent 把任务搞砸了",原因可能出在四个完全不同的层面:

  • 信息不够——上下文没喂对,再强的基模也是巧妇难为无米之炊;
  • 模型不行——任务难度超出了模型能力边界,换 Harness 没用;
  • 工具不好使——模型推理没问题,是工具调用失败或返回了垃圾数据;
  • 流程设计有缺陷——循环逻辑、权限控制、状态管理出了问题。

怎么练?做小实验:补充资料、调整指令、接入工具,每次只改一个变量,观察哪种改变改善了结果。

改资料就好了 → 是信息问题;换模型就好了 → 是模型问题;加个工具就好了 → 是工具链问题。每一次归因,都是在拆解"一次任务究竟是怎么完成的"。

这个能力在面试和实际工作中都是硬通货。AI 产品经理的日常里,一半的活儿就是和算法团队对齐"这个 badcase 到底该谁修"——归因能力模糊的人,在这种对话里永远说不上话。


四、接入自己的AI工作流:从一小段开始,持续复核

前面三步都是"理解",最后一步是"用起来",也是产生真实价值的一步。

选型标准只有两条:经常重复、结果易检查。

不要一上来就想把整个工作流交给 AI。先切其中一小段。举个我带学员常用的一条链路:

访谈记录 → AI 整理反馈和原文依据 → 自己确认需求 → AI 辅助做产品原型

AI 干它擅长的(整理、初稿、格式化),你干你必须干的(确认、判断、拍板),中间留一道人工确认的关卡——这个关卡的位置,就是第二步里摸出来的任务边界。

用真实工作持续跑,慢慢你会知道三件事:什么任务适合交出去、哪些地方需要自己参与、怎样配合最顺手。

再进阶一步:把验证有效的指令和操作方法沉淀成 skill,固定交付格式。 好的指令不该每次现想,该像组件一样复用。

最后持续追踪三个数字:节省的时间、复核成本、返工次数。 时间省了但返工翻倍,说明协作方式不对;三个数字都健康,才算找到了真正有效的协作模式。

我本人 6 年 Java 后端转大模型产品,现在在大厂做 AI 产品,业余时间一直在带不同背景的人转型 AI+行业复合岗。

上面这位学员,从 B 端产品转过来用了四个多月。这条路能不能走通,取决于两件事:有没有人告诉你真实的边界在哪,以及有没有人在你被推翻第三次的时候还拉着你往下做。

最近准备再带一批,从 0 到 1 把 AI 产品能力搭起来。

几个硬条件:

  1. 是我的粉丝(现在关注也算)
  2. 22-45 岁,有无产品 / 运营 / 数据 / 行业背景都可,非技术背景也收
  3. 每晚能稳定拿出 1-2 小时,时间不够勿扰
  4. 愿意动手做东西,只想听课的勿扰

我把 AI 产品经理学习路线、大厂 AI 产品真实工作流拆解、AI 项目从 Demo 到上线的完整方案模板、以及面试真题整理好了,微信扫描下方二维码添加,免费发给你。
在这里插入图片描述

Logo

更多推荐