创作类大模型APP（如AI写作、小说续写、诗歌生成、文案创作、剧本设计等）的核心价值是“辅助用户高效产出高质量、有创意的内容”，其模型推理质量评估需聚焦“内容与需求的匹配度”“创作的独特性”“风格的一致性”“逻辑的流畅性”四大核心目标。以下是定制化的完整评估指标清单，涵盖输入理解、输出质量、用户协同三大维度，兼顾量化与质性评估，并明确阈值与适用场景：

一、输入理解能力（确保模型“懂用户要写什么”）

1. 需求捕捉准确性

• 定义：模型对用户创作指令（主题、类型、风格、长度等）的解析准确率。
• 量化指标：
  • 关键信息覆盖率：用户指令中核心要素（如“写一篇关于‘秋天’的‘散文’，‘500字’左右”）被模型输出覆盖的比例≥95%；
  • 指令误解率：因模型误解需求导致输出完全偏离主题的比例≤3%。
• 质性评估：5分制（1=完全偏离，3=部分覆盖，5=精准捕捉），平均分≥4分。
• 适用场景：全创作场景（文案、小说、诗歌等）。

2. 模糊指令处理能力

• 定义：面对用户模糊指令（如“写个感人的故事”“弄一段有气势的文案”）时，模型的容错与追问合理性。
• 量化指标：
  • 有效追问率：模糊指令下，模型主动询问关键信息（如“感人的故事偏向亲情还是爱情？”）的比例≥70%；
  • 盲写合格率：未追问时，输出内容符合“模糊主题合理延伸”的比例≥60%。
• 质性评估：5分制（1=完全瞎写，3=部分合理，5=精准延伸），平均分≥3.5分。
• 适用场景：小说创作、自由文案、诗歌等开放性场景。

二、输出核心质量（确保创作内容“好用、优质、独特”）

1. 主题相关性

• 定义：输出内容与用户指定主题的贴合度，无跑题或冗余信息。
• 量化指标：
  • 主题关键词密度：输出中包含主题核心词（如“环保”主题中的“低碳、自然”）的比例≥15%（避免堆砌）；
  • 冗余信息占比：与主题无关的内容（如“环保文案”中突然插入美食描述）占比≤5%。
• 质性评估：5分制（1=完全跑题，3=部分相关，5=紧扣主题），平均分≥4分。
• 适用场景：全创作场景（尤其是广告文案、命题作文）。

2. 创造性与新颖性

• 定义：内容避免模板化、同质化，具备独特视角或表达形式。
• 量化指标：
  • 内容重复率：输出与训练集/历史生成内容的文本相似度（通过SimHash计算）≤10%；
  • 新颖表达占比：使用不常见比喻、句式或视角（如“时间像被揉皱的纸”）的句子占比≥20%。
• 质性评估：
  • 创意独特性：5分制（1=完全套用模板，3=略有新意，5=视角独特），平均分≥3.5分；
  • 记忆点评分：5分制（1=看完即忘，5=有强烈记忆点），平均分≥3分。
• 适用场景：诗歌、小说、广告创意文案等。

3. 风格一致性

• 定义：输出符合用户指定的风格（如古风、科幻、幽默、严肃），且风格贯穿全文无割裂。
• 量化指标：
  • 风格特征词占比：如“古风”风格中“之、兮、尔”等词的使用频率≥8%，“科幻”风格中“量子、星际”等词占比≥10%；
  • 风格突变率：同一文本中突然出现其他风格句子（如古风文中插入网络热词）的比例≤3%。
• 质性评估：
  • 风格贴合度：5分制（1=风格完全不符，5=精准匹配），平均分≥4分；
  • 风格统一性：5分制（1=风格混乱，5=全程一致），平均分≥3.5分。
• 适用场景：剧本（分角色风格）、品牌文案（符合品牌调性）、古风/科幻小说等。

4. 逻辑与连贯性

• 定义：长文本（如小说章节、剧本分镜）中情节、逻辑、情感的连贯性，无矛盾或断裂。
• 量化指标：
  • 逻辑断裂率：句子间因果/递进关系错误（如“他很开心，所以哭了”）的比例≤5%；
  • 情节呼应率：前文埋下的伏笔（如“他藏了一把钥匙”）在后文被呼应的比例≥80%。
• 质性评估：
  • 上下文连贯性：5分制（1=前言不搭后语，5=流畅衔接），平均分≥4分；
  • 情感一致性：如“悲伤”主题中突然出现欢快描写的频率，5分制（1=情感混乱，5=情感统一），平均分≥3.5分。
• 适用场景：小说续写、剧本、长文案等。

5. 表达流畅性

• 定义：语言通顺、无语法错误、符合中文表达习惯（避免翻译腔或生硬句式）。
• 量化指标：
  • 语法错误率：通过Grammarly等工具检测出的语法/标点错误≤2处/100字；
  • 流畅度得分：通过BARTScore（文本流畅度模型）计算得分≥0.85（满分1分）。
• 质性评估：5分制（1=晦涩难懂，3=基本通顺，5=行云流水），平均分≥4分。
• 适用场景：全创作场景（尤其是正式文案、出版级内容）。

6. 格式合规性

• 定义：符合特定创作类型的格式规范（如诗歌的押韵、剧本的场景标注、文案的分段）。
• 量化指标：
  • 格式错误率：如诗歌未押韵、剧本缺少“场景/人物”标注的比例≤5%；
  • 长度达标率：用户指定长度（如“300字文案”“4句诗”）的误差在±10%以内的比例≥90%。
• 质性评估：5分制（1=格式完全错误，5=格式标准），平均分≥4分。
• 适用场景：诗歌、剧本、结构化文案（如简历、邮件模板）。

三、用户协同与迭代能力（确保模型“能配合用户改得更好”）

1. 指令微调响应性

• 定义：用户提出修改意见（如“把结尾改得更伤感”“增加一个幽默情节”）后，模型的调整准确性。
• 量化指标：
  • 修改符合率：输出满足用户修改指令的比例≥90%；
  • 过度修改率：修改时误删核心信息或偏离原主题的比例≤5%。
• 质性评估：5分制（1=完全没改，5=精准优化），平均分≥4分。
• 适用场景：全创作场景（用户高频修改的场景）。

2. 多轮创作连贯性

• 定义：多轮对话中（如“先写第一章→根据第一章写第二章”），模型对历史内容的记忆与延续性。
• 量化指标：
  • 信息记忆率：前文出现的关键信息（如人物姓名、事件）在后续创作中被正确引用的比例≥95%；
  • 情节延续率：多轮创作的情节发展无矛盾（如前文“主角在上海”，后文突然到北京）的比例≥90%。
• 质性评估：5分制（1=完全遗忘前文，5=无缝衔接），平均分≥4分。
• 适用场景：小说连载、剧本分幕创作等长周期场景。

四、合规性与安全性（底线指标，不可突破）

1. 内容合规性

• 定义：输出无违法、低俗、歧视性内容，符合《生成式AI服务管理暂行办法》及平台规范。
• 量化指标：
  • 违规内容检出率：通过敏感词库+AI审核工具（如百度内容安全API）检测出的违规内容比例≤0.1%；
  • 风险提示率：涉及敏感题材（如历史事件、社会争议）时，模型主动标注“内容仅供创作参考”的比例≥100%。
• 质性评估：人工抽查1000条样本，违规率为0（零容忍）。
• 适用场景：全创作场景。

五、指标优先级与阈值校准建议

六、评估实施建议

1. 测试数据集构建：按“通用创作（如散文）+垂直场景（如小红书文案、悬疑小说）”分类，每类包含500+条“用户指令+理想输出”样本（人工标注）；
2. 自动化工具选型：用Sentence-BERT计算主题相关性，SimHash检测重复率，BARTScore评估流畅度，结合Grammarly做语法校验；
3. 人工评审机制：对“创造性”“风格一致性”等模糊指标，组建3人评审组（含1名创作领域专家），采用双盲评分+分歧仲裁；
4. 线上监控补充：实时收集用户“重新生成”“差评”反馈，计算“创作满意度=1-（差评数/总调用数）”，目标满意度≥90%。