AI安全--AI大模型安全相关的一些基础概念
一、大模型与小模型对照
|
对比维度 |
大模型(LLM) |
小模型 |
|
定义 |
神经元规模巨大、能理解自然语言并处理通用任务的 AI 模型 |
针对具体任务专门进行优化的 AI 模型 |
|
能力范围 |
通用,可跨任务迁移,具备涌现的学习与推理能力 |
专用,在既定任务上表现稳定 |
|
资源开销 |
训练与推理成本高,依赖算力集群与高速互联 |
成本低,可边缘部署 |
|
可解释性 |
弱,参数规模大、内部机制不透明 |
相对强,特征与决策路径更易追踪 |
|
典型工程角色 |
负责理解、生成、复杂推理 |
负责分类、排序、打分等高频轻量判断 |
|
主要安全关注点 |
越狱、提示注入、内容合规、数据泄露 |
对抗样本、模型窃取、数据投毒 |
二、AI 应用通用架构与对应安全风险
|
层级 |
组成模块 |
承担角色 |
该层典型安全风险 |
|
应用 |
聊天对话、RAG 检索、智能体、工作流 |
把模型能力封装为业务功能 |
越狱攻击、提示注入、智能体越权调用工具 |
|
工具 |
搜索工具、视频编解码、OCR 工具、提示词管理 |
为应用提供外部能力与素材 |
检索源被投毒、OCR 对抗样本、提示词模板泄露 |
|
模型 |
基础大模型、垂直大模型、分类小模型、排序小模型 |
提供推理与生成能力 |
模型窃取、后门攻击、对抗样本 |
|
存储 |
临时存储、关系数据库、向量数据库 |
保存训练与运行期数据 |
训练数据投毒、向量库泄露、敏感数据越权读取 |
|
计算 |
计算芯片、芯片间通信、卡间通信 |
提供算力与互联底座 |
芯片供应链风险、侧信道、通信链路窃听 |
三、常见 AI 应用风险与防护
1、技术根因类
|
风险点 |
原理或触发条件 |
防护措施 |
|
输出不稳定 |
功能实现依赖概率计算,本质是链式条件概率连乘(如 0.82×0.41×0.73×0.56×0.8 = 0.11),概率高不等于正确 |
数据清洗提高鲁棒性;鲁棒性训练;对高风险输出加人工复核 |
|
数据投毒 |
篡改、伪造或注入恶意数据,使分类器的分类边界发生改变,诱导模型学习错误模式 |
异常样本检测、数据来源管控、供应链溯源、鲁棒性训练 |
|
提示词注入 |
精心设计的提示词绕过预设安全限制或逻辑,导致泄露、违规内容或恶意操作 |
提示词过滤、上下文隔离、输入校验、AI 应用加固 |
|
供应链漏洞 |
开发交付中使用开源数据集、开源大模型、开源软件等第三方组件,组件自身带漏洞 |
供应链溯源、来源核验、哈希校验、组件清单管理 |
|
敏感数据泄露 |
常由注入或输出处理不当触发 |
敏感信息识别机制、输出审查、最小权限访问控制 |
2、延伸攻击面与偏见类
|
风险点 |
原理或触发条件 |
防护措施 |
|
不安全的输出处理 |
模型输出被下游系统直接采信或执行 |
输出校验与沙箱执行、禁止输出直接驱动高危动作 |
|
过度代理 / 系统提示词泄露 |
权限过大,或系统提示词被诱导吐出 |
最小权限设计、限制可调用工具、系统提示词不外泄 |
|
向量与嵌入弱点 / 无界消费 |
检索库被污染,或资源被无限消耗 |
向量库权限隔离、API 限流与配额、成本告警 |
|
AI 偏见(样本不平衡) |
不同种类样本数量差距很大,模型靠「全判多数类」拿到 99% 正确率而放弃少数类 |
样本均衡处理、分类别指标监控(不能只看总准确率)、偏见审计 |
|
深度伪造诈骗 |
利用公开视频资料伪造人脸面部、声音等 |
多通道二次核验、禁止仅凭线上指令付款、转账额度分级审批 |
|
危险信息获取 |
生成式 AI 被反复用于查询爆炸物配方、器械性能参数等 |
内容过滤机制、危险意图识别、上线前安全评估与合规备案 |
|
责任认定不清 |
技术无法完全避免敏感输出与滥用,责任需按义务履行情况判断 |
履行风险提示与风险规避义务:合法输出、风险提示标注、内容过滤、合规备案 |
四、AI应用场景的安全风险落点
|
应用场景 |
核心价值 |
安全风险落点 |
|
AI 聊天机器人 |
模拟人类对话,回答提问、提供信息、执行任务 |
最普及的入口,也是提示注入与隐私泄露的第一现场 |
|
AIGC 内容生成 |
自动产出文字、图像、音频、视频、代码 |
假新闻、假论文、AI 换脸诈骗;版权与隐私争议 |
|
智能驾驶 |
感知环境、规划路线、执行驾驶决策 |
感知盲区叠加人未接管直接威胁生命;公众信任受损 |
|
搜广推算法 |
快速找信息、推合适广告、按喜好荐内容 |
算法被攻击致商业决策失效:误批不良贷款或误封正常卡 |
|
科学研究 |
原子级精度预测蛋白质结构等 |
数据投毒或篡改影响实验正确性,危及诊断与用药安全 |
更多推荐


所有评论(0)