一、大模型分类框架

对大模型进行系统性的分类是理解其潜在风险和适用场景的基础。分类可以从以下三个核心层面进行：

1. 技术层

从模型自身的技术属性进行划分。

• 模态类型
  • 语言模型

    : 处理和生成文本。

  • 视觉模型

    : 处理图像和视频。

  • 语音模型

    : 处理音频信号。

  • 多模态模型

    : 能够融合处理文本、图像、音视频等多种类型的信息。

• 参数规模
  • 轻量级

    : ≤10亿 (10B)

  • 中量级

    : 10亿 - 1000亿 (10B-100B)

  • 重量级

    : 1000亿 - 1万亿 (100B-1000B)

  • 超重量级

    : ≥1万亿 (1000B)

• 网络层级
  • 浅层网络

    : ≤12层

  • 深层网络

    : 12 - 96层

  • 超深层网络

    : ≥96层

2. 应用层

从模型的实际用途和部署场景进行划分。

• 应用领域
  • 基础大模型 (Foundation Model)

    : 通用领域数据训练，能力广泛。

  • 行业大模型 (Industry Model)

    : 基于基础大模型，使用特定行业数据进行微调和优化。

  • 专用大模型 (Specialized Model)

    : 针对特定任务或场景进行深度定制。

• 适用任务

  • 识别、分析、搜索、生成、推理、推荐等。

3. 生态层

从模型的开放性和技术依赖性进行划分。

• 开放性
  • 开源模型

    : 源代码、模型权重、数据集等资源公开。

  • 闭源模型

    : 核心资源不公开，通常以API形式提供服务。

• 自主性
  • 全栈自研

    : 从底层算法到框架、平台均为自主研发。

  • 部分自研

    : 依赖部分第三方技术或框架。

  • 无自研

    : 完全基于第三方模型或服务进行封装。

二、大模型分级框架

大模型分级旨在评估其全生命周期的综合能力，尤其关注安全能力。分级主要围绕四大维度展开：

1. 技术能力

   : 评估模型的能力边界和性能，如多模态支持度、任务完成效果和推理效率。

2. 产品能力

   : 评估模型作为产品的功能完备性、易用性和服务生态。

3. 应用能力

   : 评估模型在实际行业应用中的基础设施、数据、算法和服务的成熟度。

4. 安全能力

   : 评估模型在全生命周期中的风险防范与安全保障能力，是构建可信AI的核心。

三、大模型安全能力分级详解

安全能力是衡量大模型是否可信、可靠、可控的关键。它贯穿于模型的整个生命周期，可以细分为以下四个核心领域：

1. 基础软硬件安全

确保模型运行的底层环境是安全的。

• 核心要求
  • 硬件安全

    : 运行模型的服务器、计算芯片（如GPU/TPU）等应具备功能安全，并提供安全隔离、安全验证等机制，防止物理攻击或硬件漏洞被利用。

  • 软件安全

    : 操作系统、深度学习框架、数据库等应具备抵御软件漏洞、恶意代码、软件供应链攻击的能力。

  • 管理制度

    : 应建立专业的安全运维团队，制定严格的安全管理规范，并定期进行安全培训和应急演练。

• 【扩展】
  • 供应链安全

    必须审查硬件供应商和第三方软件包的安全性，防止在源头被植入后门或恶意代码。

  • 可信计算环境 (TEE)

    考虑使用可信执行环境来保护模型在推理过程中的机密性和完整性，防止敏感数据和模型参数被宿主机操作系统窃取。

2. 数据安全

数据是模型的“食粮”，其安全直接决定了模型的安全。

• 核心要求
  • 数据隔离

    : 采用技术手段确保不同来源或不同权限的数据在存储和使用上严格隔离。

  • 数据加密

    : 对静态存储和动态传输的数据进行加密，并建立完善的密钥管理机制。

  • 访问控制

    : 建立基于角色的访问权限控制（RBAC），确保只有授权人员才能访问敏感数据。

  • 数据来源可靠

    : 训练数据的来源应合法合规，并对采集渠道、用途进行必要披露。

  • 数据加工合规

    : 数据的清洗、标注、脱敏等处理过程应符合法规要求，特别是对个人敏感信息的处理。

  • 隐私数据保护

• 【扩展】
  • 隐私增强技术 (PETs)

    :除了脱敏，还应考虑采用差分隐私 (Differential Privacy)技术，在数据集中加入统计噪声，使得即使模型被攻破，也无法反推出单个用户的精确信息。联邦学习 (Federated Learning)也是一种重要的技术，它可以在不共享原始数据的情况下，联合多个数据源进行模型训练，从源头上保护数据隐私。

  • 数据生命周期管理

    需建立覆盖数据采集、存储、处理、传输、共享、销毁的全生命周期安全管理体系。

3. 模型自身安全

关注模型本身是否存在漏洞，以及其行为是否公平、可控。

• 核心要求
  • 输出公平性

    : 模型不应产生带有偏见、歧视性的内容。需要建立机制检测和纠正偏见，例如对不同群体（如性别、种族）的输出结果保持一致性。

  • 可追溯性

    : 记录模型的版本信息、训练数据、超参数等，并对模型的推理过程提供详细日志，以便在出现问题时进行审计和溯源。

  • 输出稳定性 (鲁棒性)

    : 模型在面对微小扰动或在不同测试集上时，输出结果应保持稳定，不发生剧烈偏移。

• 【扩展】
  • 提示注入/越狱 (Prompt Injection/Jailbreaking)

    : 用户通过构造恶意提示词，绕过模型的安全护栏，诱导其生成有害或违规内容。防御手段包括对输入进行严格过滤、使用指令微调强化模型的安全意识。

  • 数据投毒 (Data Poisoning)

    : 攻击者在训练数据中注入恶意样本，导致模型学习到错误的关联或“后门”，在特定触发条件下产生恶意输出。防御手段包括数据源审查和异常数据清洗。

  • 模型窃取 (Model Stealing)

    : 攻击者通过大量查询API来逆向复现模型结构或窃取其权重。防御手段包括API访问速率限制、增加查询水印等。

  • 对抗性攻击防御

    : 这是模型安全的核心挑战。

  • 模型水印

    : 通过在模型生成的内容中嵌入不可见的“水印”，来追溯内容的来源，用于识别滥用和虚假信息。

4. 应用安全

确保模型在交付和与用户交互过程中的安全。

• 核心要求
  • 合规性

    : 服务需遵守知识产权、个人信息保护、未成年人保护等相关法律法规，并保障用户的知情权和选择权。

  • 可控性

    : 服务应具备身份认证和权限控制，防止未经授权的访问和滥用。

  • 真实性

    : 努力降低模型产生“幻觉”（即生成看似合理但不符合事实的内容）的频率。输出内容应保证事实的准确性和逻辑的连贯性。

  • 价值观对齐

    : 确保模型生成的内容符合主流的社会价值观和伦理道德。

• 【扩展】
  • 对齐技术

    : 从人类反馈中强化学习 (RLHF) 是当前主流的对齐技术，通过人类标注员的反馈来教会模型何为“好的”和“坏的”输出。

  • 检索增强生成 (RAG)

    : 为解决模型的幻觉问题和知识更新滞后问题，RAG技术通过在生成回答前，先从一个可信的、最新的知识库（如企业内部文档）中检索相关信息，并将其作为上下文融入提示词，从而显著提升输出内容的真实性和准确性。

  • 安全护栏 (Guardrails)

    : 在模型API的输入和输出端部署独立的检测模块，用于过滤恶意输入和拦截不安全的输出，作为模型自身安全能力的补充和保障。

  • 内容审核与用户反馈

    : 建立高效的内容审核机制和便捷的用户反馈渠道，及时发现并处理有害内容，形成安全闭环。
    配套选择题及解析

1. 根据大模型分类框架，一个处理文本、图像两种信息，参数量为500亿，且源代码和权重都公开的模型，应分别归类于？
   A. 语言模型、中量级、闭源模型
   B. 多模态模型、中量级、开源模型
   C. 视觉模型、重量级、开源模型
   D. 多模态模型、轻量级、闭源模型

答案: B
解析:

处理文本和图像两种信息属于多模态模型。

参数量500亿（50B）介于10B和100B之间，属于中量级。

源代码和权重公开属于开源模型。
因此，B选项正确。

1. 在大模型分级框架中，评估模型全生命周期风险防范与安全保障能力的维度是？
   A. 技术能力分级
   B. 产品能力分级
   C. 应用能力分级
   D. 安全能力分级

答案: D
解析: 安全能力分级专门用于评估大模型在基础软硬件、数据、模型自身及应用等方面的风险防范和安全保障水平，是构建可信AI的核心。

1. 在大模型的数据安全领域，哪项技术旨在通过添加统计噪声来保护数据集中个体用户的隐私，使得攻击者难以通过模型反推出具体个人信息？
   A. 数据加密 (Data Encryption)
   B. 差分隐私 (Differential Privacy)
   C. 访问控制 (Access Control)
   D. 数据隔离 (Data Isolation)

答案: B
解析: 差分隐私是一种重要的隐私增强技术，其核心思想是在数据查询结果中加入经过精确计算的噪声，从而在保证数据统计特征可用的前提下，最大化地保护个体隐私不被泄露。数据加密、访问控制和数据隔离是其他重要的数据安全手段，但其机制与添加噪声保护个体隐私不同。

1. 攻击者通过构造巧妙的提问，绕过模型的安全限制，诱使其生成违规或有害内容。这种攻击方式被称为？
   A. 数据投毒 (Data Poisoning)
   B. 模型窃取 (Model Stealing)
   C. 提示注入/越狱 (Prompt Injection/Jailbreaking)
   D. 物理攻击 (Physical Attack)

答案: C
解析: 提示注入或越狱是针对大语言模型的一种常见对抗性攻击，攻击者利用模型对自然语言的理解能力，设计特殊的输入（提示），以规避其内置的安全护栏。

1. 为了解决大模型知识更新不及时和内容“幻觉”的问题，一种有效的方法是在生成答案前，先从外部可信知识库中检索相关信息并融入提示词中。这项技术是？
   A. 从人类反馈中强化学习 (RLHF)
   B. 检索增强生成 (RAG)
   C. 联邦学习 (Federated Learning)
   D. 模型微调 (Fine-tuning)

答案: B
解析: 检索增强生成 (Retrieval-Augmented Generation, RAG)通过“检索”外部知识库来增强“生成”环节，为模型提供实时的、可信的上下文信息，从而显著提高了生成内容的真实性和准确性。

1. 以下哪项不属于大模型“应用安全”层面的核心要求？
   A. 确保生成内容符合主流价值观。
   B. 记录模型的版本信息和训练日志以备审计。
   C. 服务应遵守知识产权保护等法律法规。
   D. 降低模型输出内容不符合事实的频率。

答案: B
解析: 记录模型的版本信息和训练日志属于模型自身安全中的“可追溯性”要求，主要用于模型的开发和审计阶段。而A（价值观对齐）、C（合规性）和D（真实性）都是模型在对外提供服务、与用户交互时需要重点保障的应用安全要求。

1. 在基础软硬件安全中，为了防止模型参数和推理数据被宿主机操作系统等高权限软件窃取，可以采用哪种技术来提供一个隔离的、受保护的计算环境？
   A. 分布式计算
   B. 软件防火墙
   C. 可信执行环境 (TEE)
   D. 固态硬盘加密

答案: C
解析: 可信执行环境 (Trusted Execution Environment, TEE)利用硬件隔离技术，在主处理器内创建一个安全的区域，确保在该区域内加载的代码和数据的机密性与完整性受到保护，能有效防御来自操作系统层面的攻击。