为什么LLM推理服务如此具有挑战性？

大型语言模型（LLM）推理面临三大核心挑战：高延迟（用户等待响应时间过长）、低吞吐（单位时间处理的请求量不足）和高成本（GPU显存/GPU Memory资源消耗过大）。这些因素直接影响用户体验和商业可行性。

框架选型：PyTorch vs TensorRT vs ONNX Runtime

• PyTorch
  优势：原生支持动态计算图，调试方便；劣势：默认未优化，推理效率低
• TensorRT
  优势：极致优化推理性能（INT8量化）；劣势：转换过程复杂，动态shape支持有限
• ONNX Runtime
  优势：跨平台部署友好；劣势：自定义算子支持较差

动态批处理（Dynamic Batching）实战

import ray
from fastapi import FastAPI
from collections import deque

class BatchProcessor:
    """
    Dynamic batching implementation using Ray for parallel processing

    Attributes:
        max_batch_size: Maximum tokens per batch (default=4096)
        timeout_ms: Max wait time for batch formation (default=50ms)
    """
    def __init__(self):
        self.queue = deque()
        self.current_batch = []

    def add_request(self, request):
        """Add request to processing queue"""
        self.queue.append(request)

    def form_batch(self):
        """Group requests without exceeding max_batch_size"""
        while self.queue:
            next_req = self.queue[0]
            if self._can_add_to_batch(next_req):
                self.current_batch.append(self.queue.popleft())
            else:
                break
        return self.current_batch

INT8量化实操步骤

1. 安装依赖：pip install tensorrt
2. 加载FP32模型：

   from transformers import AutoModelForCausalLM
   model = AutoModelForCausalLM.from_pretrained('model_name')

3. 校准数据准备（需要500-1000条典型输入）
4. 转换量化模型：

   from torch.quantization import quantize_dynamic
   model = quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

性能优化关键指标

测试环境：AWS p4d.24xlarge (8×A100 40GB)

| Batch Size | TP99 Latency(ms) | GPU-Util | 显存占用 | |------------|------------------|----------|----------| | 1 | 120 | 35% | 12GB | | 8 | 210 | 78% | 18GB | | 16 | 320 | 92% | 24GB |

监控方案推荐： - NVIDIA DCGM for GPU指标 - Prometheus + Grafana 可视化

生产环境避坑指南

• 输入长度熔断：当单个请求超过2048 tokens时自动拒绝
• CUDA Graph限制：
• 长文本（>1024 tokens）会显著降低加速效果
• 需要固定计算图结构，不适合动态模型

开放性问题思考

1. 当模型规模超过单卡容量时，张量并行(Tensor Parallelism)和流水线并行(Pipeline Parallelism)如何选择？
2. 对于时延敏感型应用，如何平衡批处理规模和响应速度的trade-off？