---

背景与挑战

人物搜索（Person Search）需要同时完成检测（Detection）与重识别（Re-ID）两个任务，传统两阶段方法存在显存浪费和特征不一致问题：

• 特征解耦：检测框质量直接影响Re-ID特征提取，误差逐级累积
• 跨模态匹配：文本描述与视觉特征的对齐依赖手工设计相似度度量
• 实时性瓶颈：串联式架构导致GPU利用率不足，Jetson设备上延迟超过200ms

技术方案对比

Cascade Transformers通过共享主干网络和级联注意力机制实现性能突破（CUHK-SYSU测试集）：

| 方法 | mAP | 推理延迟(2080Ti) | |---------------------|-------|-----------------| | Faster R-CNN + OSNet | 72.3% | 45ms | | Cascade Transformers | 76.8% | 31ms |

核心实现细节

双流特征提取器

# 视觉分支 (输入尺寸3x256x128)
class VisualEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.backbone = resnet50(pretrained=True)
        self.transformer = TransformerEncoder(d_model=512, nhead=8)

    def forward(self, x):  # x: [B,3,H,W]
        features = self.backbone(x)[-1]  # [B,2048,8,4]
        features = features.flatten(2).permute(2,0,1)  # [64,B,2048]
        return self.transformer(features)  # [64,B,512]

级联注意力模块

关键设计点：

1. 文本查询向量与视觉特征进行多轮交互
2. 每层注意力输出作为下一层的查询输入
3. 最终融合层使用门控机制控制信息流

# 级联注意力伪代码
def cascaded_attention(text_q, visual_feat, num_layers=3):
    for i in range(num_layers):
        # 计算交叉注意力 [B,64,512] x [B,512,64] -> [B,64,64]
        attn = torch.matmul(text_q, visual_feat.transpose(1,2)) 
        text_q = text_q + self.mlp(attn @ visual_feat)  # 残差连接
    return text_q

性能优化实战

显存占用测试

不同输入分辨率下的显存消耗（batch_size=16）：

| 分辨率 | 显存占用 | mAP变化 | |---------|----------|---------| | 256x128 | 3.2GB | - | | 384x192 | 5.1GB | +1.2% | | 512x256 | OOM | - |

部署优化技巧

在Jetson Xavier上采用以下策略：

1. 使用TensorRT进行FP16量化
2. 将非极大抑制(NMS)移到CPU执行
3. 对文本编码器进行权重共享

优化前后对比：

• 原始模型：187ms
• 优化后：89ms (52%加速)

避坑指南

数据标注噪声处理

针对Market1501等数据集的常见问题：

• ID冲突：通过时空一致性校验过滤错误标注
• 遮挡样本：采用hard negative mining增强难例
• 跨摄像头差异：添加摄像机ID作为额外监督信号

训练稳定性

多尺度融合时的注意事项：

1. 对不同层次特征进行L2归一化
2. 初始阶段冻结部分网络层
3. 使用梯度裁剪（max_norm=5.0）

开放讨论

当前方案在Jetson Nano上仍存在延迟较高（210ms）的问题，可能的优化方向：

• 知识蒸馏到轻量级视觉主干
• 采用自适应分辨率机制
• 探索神经网络搜索(NAS)架构

欢迎在GitHub项目提交PR共同优化：[项目链接]