一、大模型与小模型对照

对比维度

大模型(LLM)

小模型

定义

神经元规模巨大、能理解自然语言并处理通用任务的 AI 模型

针对具体任务专门进行优化的 AI 模型

能力范围

通用,可跨任务迁移,具备涌现的学习与推理能力

专用,在既定任务上表现稳定

资源开销

训练与推理成本高,依赖算力集群与高速互联

成本低,可边缘部署

可解释性

弱,参数规模大、内部机制不透明

相对强,特征与决策路径更易追踪

典型工程角色

负责理解、生成、复杂推理

负责分类、排序、打分等高频轻量判断

主要安全关注点

越狱、提示注入、内容合规、数据泄露

对抗样本、模型窃取、数据投毒

二、AI 应用通用架构与对应安全风险

层级

组成模块

承担角色

该层典型安全风险

应用

聊天对话、RAG 检索、智能体、工作流

把模型能力封装为业务功能

越狱攻击、提示注入、智能体越权调用工具

工具

搜索工具、视频编解码、OCR 工具、提示词管理

为应用提供外部能力与素材

检索源被投毒、OCR 对抗样本、提示词模板泄露

模型

基础大模型、垂直大模型、分类小模型、排序小模型

提供推理与生成能力

模型窃取、后门攻击、对抗样本

存储

临时存储、关系数据库、向量数据库

保存训练与运行期数据

训练数据投毒、向量库泄露、敏感数据越权读取

计算

计算芯片、芯片间通信、卡间通信

提供算力与互联底座

芯片供应链风险、侧信道、通信链路窃听

三、常见 AI 应用风险与防护

1、技术根因类

风险点

原理或触发条件

防护措施

输出不稳定

功能实现依赖概率计算,本质是链式条件概率连乘(如 0.82×0.41×0.73×0.56×0.8 = 0.11),概率高不等于正确

数据清洗提高鲁棒性;鲁棒性训练;对高风险输出加人工复核

数据投毒

篡改、伪造或注入恶意数据,使分类器的分类边界发生改变,诱导模型学习错误模式

异常样本检测、数据来源管控、供应链溯源、鲁棒性训练

提示词注入

精心设计的提示词绕过预设安全限制或逻辑,导致泄露、违规内容或恶意操作

提示词过滤、上下文隔离、输入校验、AI 应用加固

供应链漏洞

开发交付中使用开源数据集、开源大模型、开源软件等第三方组件,组件自身带漏洞

供应链溯源、来源核验、哈希校验、组件清单管理

敏感数据泄露

常由注入或输出处理不当触发

敏感信息识别机制、输出审查、最小权限访问控制

2、延伸攻击面与偏见类

风险点

原理或触发条件

防护措施

不安全的输出处理

模型输出被下游系统直接采信或执行

输出校验与沙箱执行、禁止输出直接驱动高危动作

过度代理 / 系统提示词泄露

权限过大,或系统提示词被诱导吐出

最小权限设计、限制可调用工具、系统提示词不外泄

向量与嵌入弱点 / 无界消费

检索库被污染,或资源被无限消耗

向量库权限隔离、API 限流与配额、成本告警

AI 偏见(样本不平衡)

不同种类样本数量差距很大,模型靠「全判多数类」拿到 99% 正确率而放弃少数类

样本均衡处理、分类别指标监控(不能只看总准确率)、偏见审计

深度伪造诈骗

利用公开视频资料伪造人脸面部、声音等

多通道二次核验、禁止仅凭线上指令付款、转账额度分级审批

危险信息获取

生成式 AI 被反复用于查询爆炸物配方、器械性能参数等

内容过滤机制、危险意图识别、上线前安全评估与合规备案

责任认定不清

技术无法完全避免敏感输出与滥用,责任需按义务履行情况判断

履行风险提示与风险规避义务:合法输出、风险提示标注、内容过滤、合规备案

四、AI应用场景的安全风险落点

应用场景

核心价值

安全风险落点

AI 聊天机器人

模拟人类对话,回答提问、提供信息、执行任务

最普及的入口,也是提示注入与隐私泄露的第一现场

AIGC 内容生成

自动产出文字、图像、音频、视频、代码

假新闻、假论文、AI 换脸诈骗;版权与隐私争议

智能驾驶

感知环境、规划路线、执行驾驶决策

感知盲区叠加人未接管直接威胁生命;公众信任受损

搜广推算法

快速找信息、推合适广告、按喜好荐内容

算法被攻击致商业决策失效:误批不良贷款或误封正常卡

科学研究

原子级精度预测蛋白质结构等

数据投毒或篡改影响实验正确性,危及诊断与用药安全

Logo

更多推荐