背景痛点：边缘部署的三大拦路虎

最近在Jetson Orin Nano上部署MediaPipe时，踩坑无数。这个仅信用卡大小的模块虽拥有2048个CUDA Core和64个Tensor Core，但实际部署时会遇到：

• ARM架构适配陷阱：MediaPipe官方预编译包多为x86架构，直接pip install会报Illegal instruction错误
• CUDA版本地狱：JetPack 5.1.2自带CUDA 11.4，而MediaPipe Python版依赖的TensorFlow Lite需要特定CUDA版本
• 内存带宽瓶颈：当运行手势识别模型时，8GB内存被多个处理节点（如摄像头采集+模型推理）瞬间吃满

性能对决：CPU vs GPU vs TensorRT

实测MediaPipe手势识别在Orin Nano的表现（1080p输入）：

| 模式 | 帧率(FPS) | 功耗(W) | 延迟(ms) | |---------------|----------|---------|----------| | CPU单线程 | 12 | 8.2 | 83 | | GPU原生(TFLite)| 38 | 15.7 | 26 | | TensorRT(FP16)| 53 | 18.3 | 19 | | TensorRT(INT8)| 62 | 16.9 | 16 |

注：使用tegrastats监控功耗，nvprof测量延迟

从零部署七步曲

1. 烧录系统：使用SDK Manager安装JetPack 5.1.2，勾选CUDA、cuDNN、TensorRT组件

2. 创建Python环境：

   sudo apt install python3.10-venv
   python3 -m venv mp_env && source mp_env/bin/activate

3. 安装MediaPipe：必须从源码编译ARM版本

   git clone --depth 1 https://github.com/google/mediapipe.git
   cd mediapipe && git checkout v0.10.9
   python3 setup.py bdist_wheel --plat-name=linux_aarch64
   pip install dist/*.whl

4. 验证基础功能：测试摄像头能否正常工作

   import cv2
   print(cv2.getBuildInformation())  # 检查VideoIO后端是否为V4L2

5. 转换TensorRT模型：以手势识别为例

   /usr/src/tensorrt/bin/trtexec \
     --onnx=hand_landmark.onnx \
     --saveEngine=hand_trt_fp16.plan \
     --fp16 \
     --workspace=2048

6. 编写推理脚本：关键内存管理技巧

   import mediapipe as mp
   from mediapipe.tasks import python as mp_python
   
   def run_inference():
       base_options = mp_python.BaseOptions(
           model_asset_path='hand_trt_fp16.plan',
           delegate=mp_python.BaseOptions.Delegate.GPU)
       options = mp_python.vision.HandLandmarkerOptions(
           base_options=base_options,
           running_mode=mp.tasks.vision.RunningMode.LIVE_STREAM)
       with mp_python.vision.HandLandmarker.create_from_options(options) as detector:
           # 这里添加视频捕获循环
           pass

7. 功耗优化：切换10W模式提升能效比

   sudo nvpmodel -m 2  # 切换至10W模式
   sudo jetson_clocks --fan

三大致命坑与逃生指南

坑1：USB摄像头DMA冲突 - 症状：VIDIOC_STREAMON: Cannot allocate memory - 解决：在/boot/extlinux.conf添加vmalloc=512M后重启

坑2：GPU内存泄漏 - 症状：连续运行后帧率逐渐下降 - 排查：nvidia-smi --query-gpu=memory.used --format=csv -l 1 - 解决：确保每个detector实例都使用with上下文管理

坑3：TensorRT精度异常 - 症状：INT8量化后关键点抖动严重 - 解决：校准数据集需包含光照变化样本，使用动态范围量化

trt_converter = tf.lite.TFLiteConverter.from_keras_model(model)
trt_converter.optimizations = [tf.lite.Optimize.DEFAULT]
trt_converter.representative_dataset = calibration_data_gen
trt_converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]

内存限制的破局思路

当需要同时运行手势识别+人脸检测+姿态估计时：

1. 模型瘦身：使用MediaPipe的裁剪模型（如hand_landmark_lite.tflite）
2. 共享特征提取：多个模型共用同一个backbone
3. 流水线调度：通过GStreamer控制各模块按需执行
4. 内存锁定：防止SWAP拖慢速度

   import ctypes
   ctypes.CDLL("libc.so.6").mlockall(0x2)  # MCL_CURRENT|MCL_FUTURE

最终我们的优化方案在超市自助结算场景成功落地，单设备可同时处理2路视频流，平均延迟控制在33ms以内。边缘计算的魅力，就在于把算力塞进最小的物理空间里。