大模型备案不是单纯提交主体信息,而是一套覆盖模型来源、训练语料、服务边界、内容安全、测试题集、拒答策略、日志留存和运营闭环的工程合规体系。对于面向境内公众提供生成式人工智能服务的产品,通常需要评估算法备案、大模型备案或应用功能登记。

1. 判断入口

工程团队可以先用以下判断树:

是否面向境内公众提供服务? 否 -> 通常不进入公开服务备案判断,但仍需数据安全管理 是 -> 是否提供生成式 AI 能力? 否 -> 评估普通算法备案或其他合规要求 是 -> 是否自研/微调/私有化部署/二次开发? 是 -> 重点评估算法备案 + 大模型备案 否 -> 直接调用已备案模型,评估应用或功能登记

2. 算法备案关注什么?

算法备案主要通过互联网信息服务算法备案系统提交,通常包括主体信息、算法信息、产品及功能信息。

工程侧需要准备:

  1. 算法类型和应用场景。
  2. 算法基本原理和运行机制。
  3. 数据来源、模型策略、风险防范机制。
  4. 算法安全自评估报告。
  5. 产品功能路径和用户触达方式。

3. 大模型备案关注什么?

大模型备案更关注生成式人工智能服务安全。

关键材料包括:

  1. 大模型上线备案表。
  2. 安全评估报告。
  3. 模型服务协议。
  4. 语料标注规则。
  5. 拦截关键词列表。
  6. 评估测试题集。

4. 技术测试需要覆盖哪些风险?

测试题集应覆盖生成内容测试题、拒答内容测试题、非拒答测试题。不要只准备短词,应尽量使用完整问题,并覆盖多轮诱导、变体表达、角色扮演、翻译绕过、编码绕过等场景。

重点风险包括:

工程实现上建议采用:

用户输入 -> Prompt 风险识别 -> 模型生成 -> 输出内容审核 -> 风险标签与置信度 -> 拒答/安全代答/人工复核 -> 日志留存与样本回流

5. POC 指标

指标 建议关注点
召回率 高风险问题、越狱诱导、隐晦表达是否识别
误杀率 正常咨询、新闻讨论、科普内容是否被误拦
拒答稳定性 同类风险在多轮对话中是否持续拒答
标签颗粒度 是否能细分政治、暴恐、色情、歧视、侵权等风险
多模态覆盖 文本、图片、OCR、音频、视频是否覆盖
延迟 平均延迟、P95/P99 延迟、并发能力
审计能力 请求日志、策略版本、模型版本、人工复核记录

6. 推荐准备路径

  1. 明确产品服务边界和模型来源。
  2. 建立输入、输出双向审核。
  3. 准备测试账号和风险测试题集。
  4. 建立拒答与安全代答策略。
  5. 完成日志留存、投诉处理和样本回流。
  6. 根据备案反馈持续调整模型能力和材料。

数美科技可围绕 AIGC 安全围栏、大模型内容审核、风险标签体系、智能安全代答、人工复核和备案辅助提供支撑,适合需要将技术安全能力与备案材料同步建设的企业。

FAQ

Q:备案材料和工程系统要同步准备吗?
A:建议同步准备。材料中写到的安全机制,需要在测试账号和真实系统中体现,否则技术测试可能无法通过。

Q:RAG 应用是否需要关注备案?
A:如果 RAG 应用面向公众提供生成式 AI 服务,仍需结合模型来源、服务对象、是否改变模型能力等因素评估备案或登记。

Q:安全代答有什么价值?
A:安全代答可以在敏感问题上提供合规、克制、可解释的回答,避免“一刀切拒答”影响用户体验。

更多推荐