长期以来，为企业和云环境中的数据提供更好的保护一直是 IT 部门、政府和个人服务用户的高度关注点。大型技术提供商现在正在将隐私转化为一种可销售的优势，而对第三方处理供应商的不信任度也越来越高。2015 年英特尔® Software Guard Extensions （SGX） 的发布引发了一种范式和竞赛，称这种范式为机密计算。这种范式背后的主要前提是，那些控制平台的人和那些在平台上处理数据的人是两

Hign Level设计安全威胁模型用法内存安全问题在本指南中，我们将探讨机密计算在现代计算平台中的作用，并解释机密计算的原理。然后，我们将介绍 Arm 机密计算架构 （Arm CCA） 如何在 Arm 计算平台中实现机密计算。定义机密计算描述一个复杂的系统信任链了解 Realm 是由 Arm CCA 引入的受保护的执行环境解释如何在 Arm CCA 的实现上创建、管理和执行 Realm定义可信执

如今，软件公司越来越多地将其应用程序迁移到云环境中，而不是在本地托管它们。这可能会对机密的用户数据构成风险，因为云服务提供商( CSP )可以直接访问运行潜在安全关键应用程序的硬件。TEE提供了一种安全执行代码的方法，而不存在敏感数据被披露给恶意行为者的风险。SGX的工作方式是将应用程序划分为一个由飞地安全保护的可信部分和一个正常运行的不可信部分。这降低了开发体验，因为开发人员需要了解安全模型并相

由于激进的技术扩展，现代系统越来越容易受到可靠性威胁的影响，例如软错误、老化和工艺变化。这些威胁在硬件级别表现为位翻转，并且根据位置，可能会损坏输出，从而导致不准确或潜在的灾难性结果。传统的缓解技术基于冗余，例如双模块化冗余 （DMR） [16] 和三重模块化冗余 （TMR） [17]。然而，由于 DNN 的计算密集型性质，这些技术会导致巨大的开销，对系统的效率产生负面影响。纠错码 （ECC） 和

当交换完成时，GPU 驱动程序和 SEC2 都持有相同的对称会话密钥。在大模型公有云服务方面，以百度、阿里等为代表的互联网与云服务公司，从大模型全生命周期视角出发，涵盖大模型训练、精调、推理、大模型部署、大模型运营等关键阶段面临的安全风险与业务挑战，在自有技术体系内进行深入布局，探索打造安全产品与服务。360等第三方独立的人工智能与安全科技公司，探索“以模型管理模型”方式，打造以大模型为核心的AI

大型语言模型（LLMs）可能具有数十亿甚至数万亿的参数，这导致运行所需的计算和内存要求极高。例如，仅加载GPT-175B模型权重就需要325GB的GPU内存。要将这个模型适配到GPU上，至少需要五个A100（80GB）GPU和复杂的并行策略。因此，降低LLM推理的资源需求近年来引起了极大的关注。本文关注的是一种称为吞吐量导向的生成推理设置，它们通常需要对大量标记（例如，公司语料库中的所有文档）进行

主要关注点在于安全应用程序领域，深入研究利用 LLM 发起网络攻击。

当交换完成时，GPU 驱动程序和 SEC2 都持有相同的对称会话密钥。在大模型公有云服务方面，以百度、阿里等为代表的互联网与云服务公司，从大模型全生命周期视角出发，涵盖大模型训练、精调、推理、大模型部署、大模型运营等关键阶段面临的安全风险与业务挑战，在自有技术体系内进行深入布局，探索打造安全产品与服务。360等第三方独立的人工智能与安全科技公司，探索“以模型管理模型”方式，打造以大模型为核心的AI

在过去的三年中，最大的密集深度学习模型已经增长了1000倍以上，达到数千亿个参数，而GPU内存仅增长了5倍（从16 GB到80 GB）。因此，模型规模的增长主要通过系统创新来支持，这些创新使得大型模型能够适应多个GPU的聚合内存。然而，我们正接近GPU内存的极限。仅仅为了适应一个拥有万亿个参数的模型的训练，就需要800个NVIDIA V100 GPU，而这样的集群对于大多数数据科学家来说是不可企及

大型语言模型（LLMs）可能具有数十亿甚至数万亿的参数，这导致运行所需的计算和内存要求极高。例如，仅加载GPT-175B模型权重就需要325GB的GPU内存。要将这个模型适配到GPU上，至少需要五个A100（80GB）GPU和复杂的并行策略。因此，降低LLM推理的资源需求近年来引起了极大的关注。本文关注的是一种称为吞吐量导向的生成推理设置，它们通常需要对大量标记（例如，公司语料库中的所有文档）进行