背景

观点内容摘取自《第四届数字信任大会暨ISACA中国2025年度大会》嘉宾的演讲与分享，内容代表了演讲嘉宾的经验分享/意见观点。 

详细版本PPT更新在ISACA中国区官网。

1. AI应用中的十大常见安全风险

1. 样本投毒（数据污染）

2. Prompt注入攻击（恶意利用）

3. 代码辅助工具数据泄露

4. 第三方代码依赖污染

5. 自动化Agent权限滥用

6. 自建模型平台暴露面过大

7. 模型数据和隐私泄露

8. 模型推理劫持（对抗样本）

9. 伦理与偏见放大

10. 开源模型滥用（深度伪造/辅助犯罪）

这些风险贯穿从数据采集、模型训练到推理和部署的全生命周期，尤其在多智能体系统和开源生态中表现突出。

---

2. 三个典型安全漏洞案例

案例1：Anthropic SQLite注入漏洞

• 问题：SQL注入 → 存储式提示注入 → AI代理劫持

• 关键点：攻击从数据面升级到控制面，触发AI决策逻辑失控。

案例2：MCP Inspector RCE漏洞

• CVE-2025-49596，CVSS评分9.4

• 开发者本地工具成为攻击入口，显示本地开发环境同样需严格防护。

案例3：mcp-remote命令注入漏洞

• CVE-2025-6514，CVSS评分9.6

• OAuth授权流程被劫持，导致跨平台任意命令执行。

---

3. 新型威胁：大模型越狱与MCP生态风险

• 大模型越狱攻击：利用提示词和上下文污染绕过安全策略。

• MCP协议生态问题：身份认证缺失、权限控制不足、审计追溯缺乏。

• 多智能体复杂性：权限传递不一致、身份仿冒、跨智能体越权访问。

---

4. 企业级防护实践

4.1 大模型全生命周期安全

• 数据安全：分类分级、加密、脱敏、数据溯源、机密计算。

• 模型安全：漏洞扫描、推理劫持检测、持续监控。

• 访问控制：统一身份认证、权限分级、跨平台授权。

4.2 防护架构与工具

• LLM-WAF（大模型防火墙）：实时拦截算力滥用、提示词攻击与数据泄露。

• AI-SPM（攻击面与漏洞管理）：风险态势感知与漏洞修复。

• 天御大模型安全网关：统一身份和权限管控，连接智能体、模型与服务，实现决策链安全。

---

5. 风险评估与控制框架

• 130+ 控制措施：覆盖数据、模型、MCP服务、Agent系统七大层次。

• 测试与监控：从提示词攻击到工作流检测，形成多层次防线。

• 统一安全水位：消除生态碎片化带来的薄弱点。

---