RunAI与Dynamo强强联合：智能多节点调度如何引爆LLM推理效率

推荐阅读

• NVIDIA CUDA Toolkit 13.0深度解析：统一ARM生态，赋能Jetson Thor
• 深入解析推测解码：降低AI推理延迟的前沿技术
• NVIDIA Jetson Thor深度解析：为物理AI打造的终极平台
• NVIDIA Dynamo深度解析：如何利用KV缓存卸载技术打破大模型推理瓶颈
• NVIDIA R²D²深度解析：三大神经网络突破重塑机器人学习范式

随着大语言模型（LLM）的复杂性呈指数级增长，我们正面临一系列严峻挑战：模型规模远超单GPU容量，工作负载要求极致的吞吐量和低延迟，而底层基础设施则必须无缝协调数以千计的互联组件。NVIDIA Run:ai v2.23版本的发布，通过与NVIDIA Dynamo的深度集成，为这些挑战提供了革命性的解决方案。Dynamo是一个专为在分布式环境中服务生成式AI模型而设计的高吞吐、低延迟推理框架。本文将深入探讨这一强强联合如何通过智能调度，解决多节点、多组件推理的协调难题，并提供详细的实战指南。

核心挑战：从“能跑”到“跑好”的鸿沟

当模型参数和分布式组件（如预填充和解码工作节点、路由器等）数量激增时，其内存需求和计算压力也随之剧增。这迫使我们将模型层和KV缓存分布到多个GPU，甚至多个节点上。尽管张量并行等技术解决了容量问题，但新的协调挑战随之而来：如何让数十个分布式组件像单个加速器一样无缝协作？答案在于能够透明地管理这种复杂性的高级推理框架。

NVIDIA Dynamo：为分布式推理而生

NVIDIA Dynamo专为应对分布式推理挑战而构建，其核心特性包括：

• 分离式预填充与解码推理：最大化GPU吞吐量，并允许在延迟和吞吐量之间进行灵活权衡。
• 动态GPU调度：自适应地应对波动的需求。
• LLM感知请求路由：避免不必要的KV缓存重新计算，提升效率。
• 加速数据传输：利用NVIDIA推理传输库（NIXL）显著减少推理响应时间。
• KV缓存卸载：利用多级内存层次结构实现更高的吞- KV缓存卸载：利用多级内存层次结构实现更高的吞吐量。

这些能力确保了即使是最大规模的模型也能在分布式GPU集群上高效运行，但前提是底层的编排调度不会成为瓶颈。

智能调度为何至关重要？

在集群中运行多节点推理并非易事。Dynamo工作负载包含路由器、预填充和解码等紧密耦合的组件。如果独立调度这些组件，很容易导致部分部署——例如，解码pod已在运行，而预填充pod却仍在等待资源，造成GPU空闲和资源浪费。即便所有组件都已激活，糟糕的放置策略同样会损害性能。领导者和工作节点分布在不同的机架，跨机架通信带来的高延迟和带宽瓶颈会严重影响整体吞吐量。解决这些编排问题，对于充分发挥Dynamo的运行时效率至关重要，而这正是NVIDIA Run:ai高级调度能力的核心价值所在。

Run:ai与Dynamo的强强联合：Gang调度与拓扑感知

解决编排挑战需要的不仅仅是启动pod，而是要将正确的pod组合放置在正确的位置。这正是NVIDIA Run:ai为Dynamo带来的两大核心能力：Gang调度用于原子化地启动所有组件，拓扑感知放置则将它们协同定位以实现低延迟通信。

Gang调度：全有或全无的原子化部署

现在，Dynamo工作负载可以利用NVIDIA Run:ai的Gang调度能力，将相互依赖的pod组视为一个单一的部署单元。这种原子化的调度方法确保了所有必需的组件（预填充工作节点和领导者、解码工作节点和领导者）要么能够被同时放置，要么整个部署将等待直到有足够的资源可用。

这种机制从根本上消除了部分部署的可能性，从而自然地减少了资源碎片化，提高了集群的整体利用率。部分部署的工作负载不再会一边占用宝贵的集群资源，一边无限期地等待缺失的组件。冷启动延迟也因此降低，因为一旦资源就绪，整个工作负载会原子化地启动，而不是零散地、逐步地启动，从而大大缩短了服务就绪时间。

最终的结果是为多节点推理工作负载实现了可预测且高效的放置，无需任何额外的配置，调度器会自动完成所有协调工作。

拓扑感知调度：智能放置，降低延迟

此次集成还包括对多节点部署极具价值的拓扑感知调度功能。管理员可以定义集群的物理拓扑结构，使调度器能够做出更具战略性的组件放置决策。相互依赖的组件（如预填充和解码角色）会被智能地放置在一起，以最大限度地减少跨节点延迟，同时充分利用高速互连网络（如NVLink）。

图2：在NVIDIA Run:ai用户界面中设置网络拓扑，定义节点的物理邻近关系

在多节点部署的规模下，网络通信很容易成为性能瓶颈，而拓扑感知能力在此时变得至关重要。通过将通信密集的pod放置在同一机架甚至同一节点内，可以显著提高组件间的通信吞吐量，减少网络开销，从而为大规模分布式工作负载带来更低的延迟和更强的性能。

图3：将定义好的网络拓扑附加到相关的节点池，调度器将据此进行优化放置

实战指南：在Run:ai上部署Dynamo

一旦在Run:ai用户界面中配置好网络拓扑，Dynamo工作负载就会自动利用Gang调度和拓扑感知调度。这确保了紧密耦合的组件（如解码、路由器）要么作为一个整体一同启动，要么一同等待，同时调度器会将它们协同放置在最近的拓扑层级（如同一区域或机架）以减少延迟。用户还可以通过为工作负载添加注解来指定首选或必需的放置策略。

步骤1：设置环境变量

# 定义所需的环境变量
export DYNAMO_IMAGE=nvcr.io/nvidia/ai-dynamo/vllm-runtime:0.4.1
export NAMESPACE=dynamo-cloud
export RELEASE_VERSION=0.4.1

步骤2：创建Kubernetes命名空间

# 为部署创建一个专用的命名空间
kubectl create namespace $NAMESPACE

步骤3：安装CRD和平台组件

# 安装自定义资源定义 (CRDs)
helm fetch https://helm.ngc.nvidia.com/nvidia/ai-dynamo/charts/dynamo-crds-$RELEASE_VERSION.tgz
helm install dynamo-crds dynamo-crds-${RELEASE_VERSION}.tgz --namespace dynamo-cloud

# 安装平台组件
helm fetch https://helm.ngc.nvidia.com/nvidia/ai-dynamo/charts/dynamo-platform-$RELEASE_VERSION.tgz
helm install dynamo-platform dynamo-platform-${RELEASE_VERSION}.tgz --namespace ${NAMESPACE} --set dynamo-operator.namespaceRestriction.enabled=false

步骤4：部署vLLM聚合器

下载示例YAML文件后，将metadata.namespace设置为您的Run:ai项目（例如runai-project-a），并添加以下注解来启用拓扑感知调度：

metadata:
  namespace: runai-project-a
  annotations:
    # 首选放置策略：调度器会优先尝试在同一区域内放置所有pod
    kai.scheduler/topology-preferred-placement: "topology.kubernetes.io/zone"
    # 指定使用的拓扑定义
    kai.scheduler/topology: "topology-1"
    # 如果需要强制放置在同一区域，可以使用以下必需放置策略
    # kai.scheduler/topology-required-placement: "topology.kubernetes.io/zone"

然后应用YAML文件：

kubectl apply -f disagg.yaml

步骤5：发送推理请求

为了在本地测试部署，可以将前端端口转发出来：

kubectl -n runai-project-a port-forward pod/<your-frontend-pod-name> 8000:8000

然后使用curl发送一个示例请求：

curl localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-0.6B",
    "messages": [
    {
        "role": "user",
        "content": "请给我写一个关于探索古代遗迹的冒险故事的开头。"
    }
    ],
    "stream": false,
    "max_tokens": 100
  }'

一个成功的响应将返回包含生成文本的JSON对象，证明您的多节点、拓扑感知的LLM推理服务已成功部署！

结论：智能调度是释放LLM潜力的关键

NVIDIA Run:ai与Dynamo的集成为大规模、多节点LLM推理的性能和效率设定了新的标准。通过将原子化的Gang调度与智能的拓扑感知放置相结合，这套解决方案解决了分布式系统中最棘手的协调问题，确保了GPU资源的最大化利用和端到端延迟的最小化。对于任何希望在生产环境中部署大型生成式AI模型的组织来说，这种智能化的集群管理和工作负载编排能力不再是可有可无的奢侈品，而是释放全部潜力的必需品。

推荐阅读

• NVIDIA CUDA Toolkit 13.0深度解析：统一ARM生态，赋能Jetson Thor
• 深入解析推测解码：降低AI推理延迟的前沿技术
• NVIDIA Jetson Thor深度解析：为物理AI打造的终极平台
• NVIDIA Dynamo深度解析：如何利用KV缓存卸载技术打破大模型推理瓶颈
• NVIDIA R²D²深度解析：三大神经网络突破重塑机器人学习范式