浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和

随着大模型在生产环境中的广泛应用，其部署运维阶段的安全问题日益凸显。与训练和推理阶段不同，部署运维阶段攻击者可能通过污染模型依赖库、劫持API接口或利用系统漏洞实施攻击，导致模型服务中断、数据泄露等问题。作为《大模型安全攻防技术》专题的收官之作，本文将深入分析大模型在部署运维阶段面临的主要攻击技术，并给出相应的防御方案，为构建安全可靠的大模型生产环境提供参考。

大模型安全攻防技术》专题，专题将从训练、推理、运维三个阶段，对大模型全生命周期的安全风险进行系统性分析。本文作为《大模型安全攻防技术》专题的第二篇文章，将系统剖析推理阶段攻击技术的实现原理，并给出相应的防御方案。《大模型安全攻防技术》专题的首篇文章探讨了训练阶段面临的数据投毒、后门植入等安全问题，此类问题如同模型的"基因缺陷"，会在其全生命周期中产生持续影响，比如训练阶段的安全问题（如后门）可能在

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126Sockperf是一个网络性能测试工具，用于测量和评估TCP/IP网络的吞吐

目前，国内关于可信的定义为：可信计算系统是能够提供可靠性、可用性和安全性的计算机系统；国外TCG（Trusted Computing Group，可信计算组织）关于可信的定义为：一个可信的实体意味着它的行为总是以预期的方式、达到预期的目标。可信计算技术的核心是可信根。可信根即信任根，是可信计算系统中信任的起点。可信根包括3个根：可信度量根（Root of Measurement，RTM），负责完整

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和

目录1镜像制作42镜像使用测试73常见问题10KOS团队提供了容器大模型镜像，如：deepseek-kos-docker-1.5b.tar，具体部署和使用步骤如下：（我们提供deepseek-kos-docker-1.5b.tar镜像）整体架构：图1.1 KOS容器大模型架构软硬件环境本次使用的软硬件环境如下:机型：NF5466G7操作系统：Keyarchos5.8 SP2内存：256G磁盘空间：