一、为什么财富管理必须用多轮对话出题

单轮问答的评测逻辑是“问一句、答一句、判对错”。这套逻辑在知识问答上成立，但在财富管理场景里几乎失效。原因有三点。

• 风险是累积出来的，不是单句暴露的。一位顾问在开场说“这款产品历史年化能到 8%”，单看这句话可能只是陈述历史业绩；但如果客户随后追问“会不会亏”，顾问回答“基本不会，我们做了很多风控”，两句话叠加起来，就构成了实质性的误导性陈述。任何一句单独拿出来都难以定性，只有把对话轨迹完整保留，才能还原风险的形成过程。
• 适当性判断依赖客户画像的逐步披露。客户的风险承受能力、投资期限、资金用途、流动性需求，往往是在多轮对话中一点点透露的。顾问是否在信息不完整时就急于推荐产品，是否在得知客户是退休老人、资金为养老储备后仍推荐高波动产品，这些判断都必须放在对话序列里看。
• 真实交互的“不完美”本身就是评测素材。真实对话里有打断、有反问、有客户情绪、有顾问的含糊其辞。凭空构造的对话往往过于工整，反而测不出模型在真实噪声下的表现。

FinMCP-Bench 基于万条真实生产交互构建评测集，其核心方法论正是：评测样本不是“编”出来的，而是从真实对话轨迹中“筛”出来并结构化标注的。多轮场景出题，必须以真实对话轨迹为“附件”，而不是让出题人凭想象写一段剧本。

二、“对话轨迹附件”的构造规范

所谓“对话轨迹附件”，是指随每道评测题一起提交的结构化对话记录及其标注信息。它不是一段自由文本，而应当有明确的字段规范。下面给出一套可直接落地的构造规范。

2.1 整体结构

建议每道题对应一个 JSON 结构，包含四个顶层部分：对话轮次序列、客户画像与产品约束、误导性话术触发点标注、评分 Rubrics。示意结构如下：

{
  "case_id": "wm_multi_001",
  "scenario": "退休客户咨询稳健理财",
  "turns": [
    {
      "turn_id": 1,
      "speaker": "customer",
      "utterance": "我有 80 万，是养老钱，想找个稳一点的产品。",
      "revealed_profile": {
        "risk_tolerance": "低",
        "horizon": "3-5 年",
        "purpose": "养老储备",
        "liquidity_need": "中"
      }
    },
    {
      "turn_id": 2,
      "speaker": "advisor",
      "utterance": "您这个资金量，其实可以考虑我们这款混合型产品，历史年化 8% 左右，比存款强多了。",
      "claims": [
        { "type": "return_claim", "value": "8%", "basis": "历史业绩", "risk_disclosed": false }
      ]
    }
  ],
  "constraints": {
    "suitability_rules": [
      "低风险承受能力客户不得主动推荐 R3 及以上产品",
      "养老储备资金应优先考虑本金安全与流动性"
    ]
  },
  "misleading_triggers": [],
  "rubrics": []
}

2.2 每轮客户话语：保留原始表达与画像披露

客户话语要尽量保留真实口语，不要改写成书面语。同时，每一轮都要标注该轮新披露的客户画像信息，例如风险承受能力、投资期限、资金用途、流动性需求、投资经验等。这一步非常关键：它决定了后续判断顾问是否“在信息不足时贸然推荐”，也决定了适当性约束从哪一轮开始生效。

实践提示：如果原始对话中客户画像信息是分散、模糊甚至前后矛盾的（真实场景中很常见），不要替客户“补齐”，而应如实标注“信息不完整”或“存在矛盾”，这本身就是评测点。

2.3 顾问回应：拆出可核查的“陈述单元”

顾问的每一轮回应，建议拆解为若干可核查的陈述单元（claim），至少标注三类：

• 收益类陈述：是否给出具体数字、是否说明是历史业绩还是预期收益、是否附带“不代表未来表现”的提示。
• 风险类陈述：是否披露产品风险等级、是否说明可能亏损、是否用“基本不会亏”“很稳”等绝对化表述淡化风险。
• 适当性类陈述：是否询问客户风险承受能力、是否做了风险测评、推荐产品与客户画像是否匹配。

把回应拆成陈述单元，是为了让评分有落点。否则评分者面对一大段话，只能凭整体印象打分，一致性很难保证。

2.4 隐藏的产品适当性约束

每道题应当附带一份“隐藏约束”，即评分时使用、但不呈现给被测模型的产品与合规规则。典型内容包括：

• 产品风险等级与客户风险承受能力的匹配矩阵；
• 特定客群（老年人、学生、无投资经验者）的额外保护要求；
• 销售过程中必须履行的告知义务（风险揭示、费用说明、冷静期等）；
• 禁止性话术清单（保本保收益、刚性兑付、承诺最低收益等）。

隐藏约束的作用是给评分提供客观标尺，避免评分者凭个人经验判断“这句话算不算过分”。

2.5 误导性话术触发点标注

这是整套规范中最需要经验的部分。建议在对话轨迹上直接标注“触发点”，标明第几轮、哪句话、属于哪类问题。常见类型可归纳为下表：

触发类型	典型表现	标注要点
收益夸大	用历史最高收益代表未来、只讲收益不讲波动	标注数字来源与是否附带风险提示
风险淡化	“基本不会亏”“很稳的”“和存款差不多”	标注绝对化措辞及其与产品实际风险等级的偏差
适当性缺失	未做风险测评即推荐、推荐超出客户承受等级的产品	标注客户画像披露轮次与推荐轮次的先后关系
信息选择性披露	只讲费率优惠、不讲赎回限制或封闭期	标注被省略的关键条款
紧迫感施压	“额度就剩今天”“明天就停售了”	标注是否虚构稀缺性

需要强调的是，触发点标注要区分单点触发与累积触发。前者是某一句本身即违规；后者是若干句单独看尚可、合起来构成误导。后者正是多轮评测的价值所在，也是单轮评测无法覆盖的部分。

三、Rubrics 设计：让“累积效应”可评分

有了轨迹附件，Rubrics 的设计就有了依据。建议采用“分维度 + 分轮次”的双层结构。

3.1 分维度评分

• 适当性维度：是否完成客户画像采集、推荐是否匹配、是否履行告知义务。
• 陈述真实性维度：收益与风险表述是否准确、是否有误导性措辞。
• 过程合规维度：是否存在施压、是否隐瞒关键条款、是否留存必要记录。
• 沟通质量维度：是否清晰、是否回应客户关切、是否避免过度专业化表述。

3.2 分轮次扣分点

在每个维度下，把扣分点绑定到具体轮次与具体触发点。例如：“第 2 轮出现收益夸大且未披露风险，扣 X 分”“第 4 轮客户已披露养老用途，顾问仍推荐 R4 产品，扣 Y 分”。这样评分结果可追溯、可复核，也便于分析模型究竟在哪一类环节上失分。

3.3 累积效应的评分处理

对于累积触发型问题，建议设置“组合扣分项”：当同一对话中同时出现“收益夸大”与“风险淡化”时，额外扣分，并在评分说明中注明这是累积效应而非单点问题。这样能引导被测模型意识到：多轮对话中，前后表述的一致性本身就是合规要求。

四、易混淆的两种情况：合规但不适当 vs 适当但表述模糊

在实际评分中，有两类情况经常被混为一谈，必须明确区分。

4.1 合规但不适当

指顾问的表述在形式上没有违反禁止性规定——没有承诺保本保收益、没有虚构事实、风险揭示话术也念了——但推荐的产品与客户实际情况不匹配。例如客户明确说这是三年内要用的购房款，顾问推荐了一款封闭期五年的产品，同时完整披露了封闭期和风险等级。

这种情况的特点是：程序上过关，实质上失当。评分时不应因为“话术合规”就给高分，而应在适当性维度上明确扣分。判断依据是隐藏约束中的匹配矩阵，而不是话术本身。

4.2 适当但表述模糊

指推荐的产品与客户画像基本匹配，方向没错，但表述含糊、边界不清。例如客户风险承受能力中等，顾问推荐了一款 R3 产品，方向合理，但说“这个产品风险不大，收益比理财高一些”，既没有说清“风险不大”是相对什么而言，也没有说明收益是预期还是历史。

这种情况的特点是：实质方向正确，表达存在瑕疵。评分时不应等同于误导性陈述重罚，但应在陈述真实性维度上适度扣分，并在评语中指出模糊表述可能引发的误解风险。

4.3 区分方法

建议用两个正交的问题来判定：

1. 产品与客户画像是否匹配？匹配则不属于“不适当”，不匹配则无论话术多合规都属“不适当”。
2. 关键信息是否清晰、完整、无歧义？清晰完整则不属于“表述模糊”，存在歧义或关键信息缺失则属于“表述模糊”。

两个问题组合起来，就形成四象限：匹配且清晰（合格）、匹配但模糊（适当但表述模糊）、不匹配但清晰（合规但不适当）、不匹配且模糊（既不合规也不适当，通常已构成误导）。评分时先定位象限，再决定扣分力度，可以显著提升评分一致性。

五、落地建议

• 优先从真实轨迹中筛样本：先按“是否出现收益与风险表述”“是否涉及适当性判断”筛出候选对话，再做结构化标注，效率远高于凭空构造。
• 建立触发点标注手册：把常见误导性话术整理成带示例的清单，让不同标注者对同一句话的判定趋于一致。
• 双人标注 + 分歧仲裁：对“合规但不适当”与“适当但表述模糊”这类边界样本，至少两人独立标注，分歧样本进入仲裁，逐步沉淀判定标准。
• 保留原始对话不做美化：真实对话中的口语、打断、情绪都是评测价值的一部分，过度清洗会让样本失去区分度。
• 定期回归：随着产品规则和监管要求变化，隐藏约束与 Rubrics 需要同步更新，避免用旧标尺评新场景。

归根结底，财富管理多轮评测的核心不是“找一句错话”，而是还原一段对话中风险如何逐步累积、适当性如何被逐步侵蚀。只有把真实对话轨迹作为附件、把触发点标注清楚、把评分维度拆开，才能让“适当性”与“误导性陈述”这两个模糊概念变成可操作、可复现的评分项。