在过去的三年中，最大的密集深度学习模型已经增长了1000倍以上，达到数千亿个参数，而GPU内存仅增长了5倍（从16 GB到80 GB）。因此，模型规模的增长主要通过系统创新来支持，这些创新使得大型模型能够适应多个GPU的聚合内存。然而，我们正接近GPU内存的极限。仅仅为了适应一个拥有万亿个参数的模型的训练，就需要800个NVIDIA V100 GPU，而这样的集群对于大多数数据科学家来说是不可企及

长期以来，为企业和云环境中的数据提供更好的保护一直是 IT 部门、政府和个人服务用户的高度关注点。大型技术提供商现在正在将隐私转化为一种可销售的优势，而对第三方处理供应商的不信任度也越来越高。2015 年英特尔® Software Guard Extensions （SGX） 的发布引发了一种范式和竞赛，称这种范式为机密计算。这种范式背后的主要前提是，那些控制平台的人和那些在平台上处理数据的人是两

传输层安全性（Transport Layer Security，TLS）是一种广泛采用的安全性协议，旨在促进互联网通信的私密性和数据安全性。TLS 的主要用例是对 web 应用程序和服务器之间的通信（例如，web 浏览器加载网站）进行加密。TLS 由互联网工程任务组（Internet Engineering Task Force, IETF）提出，协议的第一个版本于 1999 年发布。最新版本是

大型语言模型（LLMs）可能具有数十亿甚至数万亿的参数，这导致运行所需的计算和内存要求极高。例如，仅加载GPT-175B模型权重就需要325GB的GPU内存。要将这个模型适配到GPU上，至少需要五个A100（80GB）GPU和复杂的并行策略。因此，降低LLM推理的资源需求近年来引起了极大的关注。本文关注的是一种称为吞吐量导向的生成推理设置，它们通常需要对大量标记（例如，公司语料库中的所有文档）进行

在安全环境中，通过底层硬件隔离，不同执行级别，安全鉴权方式等方式，从最根本的安全机制上提供基于信任根（Root of Trust）的可信执行环境TEE（Trusted Execution Environment）,通过可信服务（Trusted Services）接口与和通用环境REE（Rich Execution Environment）进行安全通信，可以保护TEE中的安全内容不能被非安全环境的任

LLMs在代码安全和数据安全与隐私方面都做出了贡献。在代码安全的背景下，LLMs已经被用于代码(例如,安全编码、测试用例生成、脆弱代码检测、恶意代码检测、代码修复等)的整个生命周期。在数据安全和隐私方面，LLMs已被应用于确保数据完整性、数据机密性、数据可靠性和数据可追溯性。大多数研究人员发现基于LLM的方法优于传统最先进的方法。

SMPC协议优化( SMPC Protocol Optimization，SPO )是指利用先进的SMPC协议，在保持原有模型结构的同时，提升LLMs隐私保护推理的效率。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。例如，在仅有黑盒模型访问的情况下，敌手可能会进行训练数据提取攻击，以恢复少量的训练数据。然而，保护LLMs隐私的一个主要挑

Intel SGX最关键的优势在于将应用程序以外的软件栈如OS和BIOS都排除在了Trusted Computing Base（简称TCB）以外，一旦软件和数据位于Encalve中，即便是操作系统和VMM（Hypervisor）也无法影响Enclave里面的代码和数据，Enclave的安全边界只包含CPU和它本身。（图片来自：Intel Sgx Product Brief 2019 ）

如今，软件公司越来越多地将其应用程序迁移到云环境中，而不是在本地托管它们。这可能会对机密的用户数据构成风险，因为云服务提供商( CSP )可以直接访问运行潜在安全关键应用程序的硬件。TEE提供了一种安全执行代码的方法，而不存在敏感数据被披露给恶意行为者的风险。SGX的工作方式是将应用程序划分为一个由飞地安全保护的可信部分和一个正常运行的不可信部分。这降低了开发体验，因为开发人员需要了解安全模型并相

LDPC全称是Low Density Parity-Check Code，即低密度奇偶校验码。LDPC的特征是低密度，也就是说校验矩阵H里面的1分布比较稀疏。LDPC又分为正则LDPC(regular LDPC)和非正则LDPC(irregular LDPC)编码。正则LDPC保证校验矩阵每行有固定J个1，每列有固定K个1；非正则LDPC没有上述限制。