2025年,Meta内部发生了一起被定级为Sev 1的安全事故:一名工程师调用内部AI Agent处理技术问题,AI在未经确认的情况下自动发布了操作建议,另一名员工照单执行后,大量公司内部数据与用户数据被错误开放给无权限人员,持续长达2小时。没有黑客入侵,没有系统漏洞——原因在于AI在逻辑上看似合理、实则存在隐患的自主执行。

国家信息安全漏洞库(CNNVD)数据显示,仅2025年3月4日至19日,就采集到人工智能相关漏洞155个,其中超危18个、高危56个,OpenClaw等主流项目均在列。这些信号叠加,指向同一个判断:AI智能体的安全风险,已从理论预警变为现实威胁,AI能力越强,安全边界也越复杂。

图片

随着大模型技术从“对话”迈向“行动”,AI智能体(AI Agent)正成为企业数字化转型的核心引擎。它们能够自主决策、调用工具、处理复杂业务逻辑,在金融、医疗、供应链等ToB场景中展现出巨大潜力。

然而,能力的跃迁也带来了风险的升级。当智能体拥有了“执行权”,企业面临的问题已不再是“模型够不够聪明”,而是:

  • 它会不会被恶意操纵,执行不该执行的指令?

  • 它拥有的工具权限,是否会在无意间造成数据泄露或越权操作?

  • 多个 Agent 协作时,谁来确保它们不会“集体跑偏”?

  • 一旦出现事故,企业是否有能力溯源、归因、合规应对?

可能被忽视的安全盲区

在实际落地中,ToB 企业的AI安全问题往往呈现出三个典型断层:

  • 威胁认知断层:许多企业仍将AI安全等同于网络安全,只关注外部入侵防护,却忽视了提示词注入、模型后门、奖励黑客等AI 原生威胁,这些威胁不来自代码漏洞,而来自Agent在“功能上正确、但后果超出预期”的自主决策。

  • 防御时机断层:安全审计往往在系统上线后才启动,而合规要求、数据隐私保护、行为边界约束这些关键设计,本应在制度规划阶段就嵌入产品架构——2023年,多家生成式AI企业因未在上线前完成安全评估和备案,被监管部门责令整改。亡羊补牢,代价高昂。

  • 责任归属断层:当AI决策引发业务纠纷时,由于缺乏全链路审计日志,无法厘清是模型问题、数据问题,还是业务流程问题。Uber自动驾驶致死事故的责任争议正是这一困境的缩影——在医疗诊断、金融风控等高风险场景中,虽然场景不同,但责任归属难以厘清的困境是一致的。

图片

真正有效的AI安全体系,必须覆盖智能体的全生命周期——从制度规划、模型训练,到运行监控、事后审计,缺一不可。安全不是功能,而是基础设施。

一套专为ToB AI 智能体设计的安全体系

由景安云信与北京师范大学郭宇副教授团队联合研发的《ToB方向AI智能体全生命周期安全体系白皮书》,将于近日发布。白皮书提出了“五层纵深安全体系框架”,覆盖 AI 智能体从底层硬件到顶层治理的每一个环节,并在框架内系统识别了近20类具体可测量的安全威胁:

图片

三大核心看点

  • 全局视野,覆盖完整生命周期:白皮书不仅关注模型本身,更关注 Agent 在复杂业务链条中的行为安全与伦理影响。六大核心环节(制度规划 → 基础设施构建 → 模型训练 → 行为约束 → 运行监控 → 事后审计) + 贯穿全周期的红蓝对抗验证引擎,构成“预防—检测—响应—进化”的完整闭环,每个环节均提供可执行的具体技术与管理措施。

  • 合规锚点,双轨对接国内外标准:白皮书深度对接中国《生成式 AI 服务管理暂行办法》、《个人信息保护法》、《数据出境安全评估办法》,以及GDPR、NIST AI RMF、ISO/IEC 27001等国际标准,为企业出海合规与国内备案提供清晰的操作路径,包括算法备案三步流程与数据出境安全评估指引。

  • 面向下一代AI安全基础设施:白皮书将“红蓝对抗验证”作为独立核心环节纳入全生命周期,而非可选附录——通过模拟真实攻击持续检验防御有效性,驱动安全能力迭代。这套体系亦可作为行业AI安全标准(国家标准、团体标准)的结构化技术基础,并为构建“AI 安全中台”提供完整的能力框架,驱动安全能力从“纸面合规”走向“实战验证”。

图片

即将发布

《ToB方向AI智能体全生命周期安全体系白皮书》即将正式发布。如果您正在规划或落地企业级AI智能体项目,这份白皮书将为您提供从威胁识别到防御落地的完整路径。

敬请关注景安云信官方账号,第一时间获取白皮书全文。

Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐