---

为什么需要视频合成？

最近在智能安防和互动直播项目中，经常遇到这样的需求：

• 监控大屏：需要将16路1080P摄像头画面拼接成4x4网格，同时叠加时间戳和报警信息
• 在线教育：老师讲解PPT时，需要将人脸摄像头的圆形遮罩画面叠加在课件右上角
• 电商直播：商品特写镜头和主播画面需要画中画合成，背景需透明渐变效果

这些场景都离不开视频流的实时合成（Compositing），而GStreamer的compositor元素就是为这类需求设计的瑞士军刀。

compositor vs videomixer 怎么选？

| 特性 | compositor | videomixer | |--------------------|----------------------------|--------------------------| | 合成方式 | 基于Alpha通道混合 | 简单矩形区域叠加 | | 性能消耗 | 较高（支持复杂混合） | 较低 | | 典型应用 | 透明叠加/不规则形状 | 固定位置画中画 | | 硬件加速支持 | 依赖底层插件 | 广泛支持 | | 动态调整 | 支持运行时修改布局 | 需重新创建管道 |

基础合成管道搭建

先通过gst-launch快速验证基础功能（假设有两个测试视频源）：

gst-launch-1.0 \
  videotestsrc pattern=smpte ! videoconvert ! comp.sink_0 \
  videotestsrc pattern=ball ! videoconvert ! comp.sink_1 \
  compositor name=comp \
    sink_0::xpos=0   sink_0::ypos=0   sink_0::width=640 sink_0::height=480 \
    sink_1::xpos=640 sink_1::ypos=180 sink_1::alpha=0.5 \
  ! autovideosink

关键参数说明：

• sink_N::xpos/ypos 控制每个源的位置坐标
• alpha值范围0.0(全透明)~1.0(不透明)
• 未指定z-order时按添加顺序决定层级

Python动态控制实战

import gi
gi.require_version('Gst', '1.0')
from gi.repository import Gst

Gst.init(None)

pipeline = Gst.Pipeline()
compositor = Gst.ElementFactory.make("compositor", "comp")
# 必须设置视频输出格式
caps = Gst.Caps.from_string("video/x-raw,width=1280,height=720")
compositor.set_property("caps", caps)

# 创建两个测试源
src1 = Gst.ElementFactory.make("videotestsrc", "src1")
src1.set_property("pattern", 18)  # 棋盘格

src2 = Gst.ElementFactory.make("videotestsrc", "src2")
src2.set_property("pattern", 0)   # 雪花的

# 动态添加pad
pad1 = compositor.get_request_pad("sink_%u")
pad1.set_property("xpos", 0)
pad1.set_property("ypos", 0)

pad2 = compositor.get_request_pad("sink_%u")
pad2.set_property("xpos", 640)
pad2.set_property("zorder", 1)  # 确保在上层

# 构建完整管道
pipeline.add(src1, src2, compositor)
src1.link_pads(None, compositor, "sink_0")
src2.link_pads(None, compositor, "sink_1")

性能优化技巧

帧同步策略

当输入源帧率不一致时：

• 设置sync=false允许丢帧保持流畅
• 但直播场景建议用videorate统一帧率

硬件加速对比

| 方案 | 1080P合成延迟 | CPU占用 | 支持格式 | |---------|--------------|---------|-------------------| | 软解 | 28ms | 85% | RGB/RGBA | | VAAPI | 12ms | 35% | NV12 (Intel核显) | | NVENC | 8ms | 25% | YUV420 (NVIDIA) |

启用硬件加速示例：

# Intel核显方案
gst-launch-1.0 filesrc location=input.mp4 ! qtdemux ! vaapidecode ! compositor ...

常见问题排查

内存泄漏检测

GST_DEBUG=2,GST_TRACER:7 GST_TRACERS="leaks" \
  gst-launch-1.0 your_pipeline

查看输出中GST_BUFFER的分配释放记录

分辨率自适应

当输入源分辨率不一致时，推荐方案：

1. 统一强制转换（可能变形）

   ! videoscale ! video/x-raw,width=640,height=360

2. 保持比例填充黑边

   ! videoscale add-borders=true

思考题

1. 当需要实现圆形遮罩效果时，应该如何设计Alpha通道的处理流程？
2. 如果输入视频的宽高比与合成区域不匹配，如何避免图像拉伸变形？
3. 在RTC场景中，如何平衡低延迟和画面合成的质量？

通过这个实战指南，相信你已经掌握了GStreamer视频合成的核心要领。接下来可以尝试实现更复杂的动态布局管理系统，比如根据语音识别结果自动切换主讲人画面大小。