背景与痛点

情感计算在人机交互、心理健康等领域应用广泛，但传统方案常面临两个核心问题：

• 单模态局限性：仅依赖面部表情易受光照遮挡干扰，纯语音分析则难以捕捉细微情绪变化
• 特征冗余：手工设计的特征（如LBP纹理）对动态表情表征能力不足，导致模型泛化性差

4.cohn团队通过融合面部动作单元（AU）与语音韵律特征（如基频抖动），在AffectNet数据集上实现89.2%的UAR（未加权平均召回率），比单模态提升12.6%。

技术选型对比

面部特征提取

1. LBP：计算速度快但丢失空间信息，适合实时系统
2. HOG：对姿态变化鲁棒但忽略局部细节
3. ResNet50+AU检测：4.cohn采用的方案，通过预训练CNN提取AU强度值（0-5）

语音特征提取

• MFCC：13维系数表征频谱包络，但忽略时序信息
• Prosody特征：包括基频（F0）、能量、语速等，需配合Δ和ΔΔ系数使用
• OpenSMILE工具：可直接提取6373维特征向量（含韵律、频谱等）

核心实现步骤

1. 数据预处理

# 面部数据标准化（PyTorch示例）
import torchvision.transforms as T
transform = T.Compose([
    T.Resize((224, 224)),  # 输入尺寸统一
    T.Grayscale(num_output_channels=1),  # AU检测可用单通道
    T.Normalize(mean=[0.5], std=[0.5])  # 归一化到[-1,1]
])

# 语音分帧处理（Librosa示例）
y, sr = librosa.load(audio_path, sr=16000)
frames = librosa.util.frame(y, frame_length=2048, hop_length=512)

2. 特征融合策略

采用早期融合（Early Fusion）将AU特征与语音韵律特征拼接：

1. 面部特征：17维AU强度值（0-5）
2. 语音特征：选取OpenSMILE的88维韵律相关特征
3. 融合层：concat_features = torch.cat([au_features, audio_features], dim=1)

3. 模型训练

class MultimodalModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.audio_fc = nn.Linear(88, 64)
        self.face_fc = nn.Linear(17, 64)
        self.classifier = nn.Sequential(
            nn.Linear(128, 64),
            nn.ReLU(),
            nn.Dropout(0.3),
            nn.Linear(64, 7)  # 7类基本情绪
        )

    def forward(self, x_audio, x_face):
        audio_feat = F.relu(self.audio_fc(x_audio))
        face_feat = F.relu(self.face_fc(x_face))
        combined = torch.cat([audio_feat, face_feat], dim=1)
        return self.classifier(combined)

性能优化关键点

1. 延迟控制：
2. 使用ONNX Runtime加速AU检测推理

3. 语音特征提取改为每500ms滑动窗口

4. 准确率提升：

5. 对语音静默段进行自动剔除

6. 增加样本平衡策略（如SMOTE）

7. 资源消耗：

8. 量化模型到INT8
9. 采用TensorRT部署

常见问题解决方案

• 数据偏差：
• 使用Aff-Wild2等跨域数据集微调

• 添加Domain Adaptation层

• 过拟合：

  # 标签平滑正则化
  criterion = nn.CrossEntropyLoss(label_smoothing=0.1)
  
  # 混合精度训练
  scaler = torch.cuda.amp.GradScaler()
  with torch.cuda.amp.autocast():
      outputs = model(inputs)
      loss = criterion(outputs, labels)
  scaler.scale(loss).backward()
  scaler.step(optimizer)

延伸实践建议

尝试以下创新方向：

1. 将语音的spectrogram与面部landmark点时序对齐
2. 测试Transformer架构的跨模态注意力机制
3. 接入实时视频流进行端到端测试

完整代码已开源在GitHub（伪地址）：github.com/affective-computing-demo