随着大模型技术的普及，本地化部署成为越来越多开发者与团队的需求。然而，在实际部署中，硬件架构的选择成为关键瓶颈。本文从PCIe独显方案的瓶颈切入，分析核显（统一内存）架构的优势，并厘清核显与SoC（片上系统）的概念差异，为技术选型提供实践参考。

一、PCIe独显方案的瓶颈分析

1.理论带宽与有效带宽的鸿沟：PCIe 6.0 x16虽具备256GB/s的理论双向带宽（注：实际主流仍为PCIe 5.0 x16，双向128GB/s），但受协议开销、小数据块传输效率及双向数据争抢影响，实际有效吞吐量仅20-40GB/s，远低于显存内部带宽（如GDDR6X可达1TB/s以上）。数据搬运效率低下，显存带宽优势无法发挥。

2.延迟成为性能绞索：数据经PCIe从系统内存搬运至显存，延迟从显存的纳秒级（300-500ns）激增至微秒级，导致GPU核心频繁空转等待数据。计算资源利用率低下，算力无法被“喂饱”。

3.显存容量的绝对硬伤：消费级显卡显存（如24GB）难以容纳25B-80B的大模型（Q8精度）。例如，70B模型量化后需约40-50GB显存，迫使系统频繁通过低速PCIe链路进行内存交换，形成“显存墙”，推理速度骤降。

二、核显（统一内存）架构的核心优势

1.彻底消除PCIe搬运开销：CPU与GPU共享同一物理内存（如DDR5/LPDDR5X），数据无需跨总线复制，绕开PCIe带宽与延迟限制。内存带宽（如双通道DDR5约90GB/s，高端SoC如AMD Strix Halo可达256GB/s）得以高效利用。

2.大容量系统内存直接映射为显存：可配置64GB乃至上百GB内存，轻松加载70B级别模型。例如，量化后的70B模型（约40-50GB）可完整驻留内存，突破“显存墙”，避免频繁数据交换。

3.实际推理速度满足实用需求：在单条或低并发请求场景下，统一内存架构运行70B模型可达3-5 token/s（普通核显）乃至15-40 token/s（高端SoC），满足个人或小团队流畅交互需求。

4.成本效益显著：相较于购置多卡独显系统的高昂成本，核显方案以更低TCO（总体拥有成本）实现“能运行”大模型的核心目标，兼具经济性与实用性。

三、核显与SoC的本质区别：理解技术边界

在讨论核显优势时，需明确其与SoC（片上系统）的关系：

•核显（Integrated Graphics）：指集成在CPU内部的图形处理单元（如Intel Iris Xe、AMD Radeon Graphics），共享系统内存作为显存。其核心功能是图形加速，是SoC的一个组成部分。

•SoC（System on Chip）：为更高阶的集成芯片，将CPU、GPU、内存控制器、基带、DSP、AI引擎等核心模块整合至单一芯片。SoC不仅包含核显，更通过片上互联（如Ring Bus、Infinity Fabric）实现各模块的高效协同，大幅降低功耗与延迟。典型代表如苹果M系列芯片、AMD Strix Halo及手机SoC。

关键差异：

•集成度：核显仅为GPU的集成；SoC是系统级整合。

•数据路径：核显依赖共享内存，SoC通过片上高速互联实现多模块直连。

•应用场景：核显侧重轻量计算与图形；SoC兼顾高性能、低功耗，适用于移动设备与AIoT。

四、结论与选型建议

当模型规模超出独显显存容量时，PCIe独显方案的高算力被数据搬运开销抵消，成为性能“瓶颈”。核显（统一内存）架构凭借内存共享与容量优势，在推理实用性与经济性上成为个人及小团队的更优选择。然而，需注意“核显”是SoC中的一部分，其性能与SoC整体设计（如内存带宽、片上互联效率）紧密相关。在选型时：

•个人用户：优先考虑搭载高性能核显的SoC平台（如AMD锐龙APU、苹果M系列），兼顾成本与效率。

•团队内部场景：若追求更高推理速度与并发能力，可进一步考虑高端SoC（如Strix Halo）或专业AI加速卡。

•提供api供外部调用场景：优先考虑高显存显卡，甚至应该考虑HBM的计算卡，这类场景通常需要较高并发，但模型用的是同一个模型，统一共享内存或普通显存作为模型载体就有些捉襟见肘了，算力也无法满足高并发下的需求。（本文主要讨论消费级市场本地部署需求，故不展开详细讨论）

最终总结：本地大模型部署的核心矛盾，是“算力”与“数据效率”的平衡。核显（统一内存）架构通过打破显存墙、消除PCIe瓶颈，在模型参数爆炸的时代，为中小规模应用提供了切实可行的技术路径。而理解核显与SoC的本质差异，有助于更精准地匹配硬件与场景需求，释放集成化架构的真正潜力。