AI Agent 的情感计算：用户意图理解与情绪识别

引言：为什么 Agent 需要"读懂"用户？

在传统的对话系统中，用户输入被视为一个待解析的指令字符串——系统提取关键词、匹配意图槽位，然后返回预设答案。然而，真实的人类交流从来不是如此冰冷的。同样一句"我放弃了"，可能是轻松的调侃，也可能是绝望的求助。如果 AI Agent 无法感知这种情绪差异，它可能会在用户最需要共情的时候，给出一个令人心寒的"好的，已记录"。 情感计算（Affective Computing）正是为了让 Agent 拥有这种"社交智能"而存在。它让机器不仅能理解用户"说了什么"，还能感知用户"感受如何"，从而构建更自然、更信任的人机协作关系。本文将深入探讨 Agent 情感计算的技术架构，从文本情绪分析到多模态感知，从显式意图到隐式意图的深层挖掘，并给出可直接落地的代码实践。

一、情感计算在 Agent 交互中的价值

1.1 从"功能正确"到"体验正确"

一个功能正确的回答未必是好的回答。当用户愤怒地投诉产品质量时，Agent 的首要任务不是立即给出技术解决方案，而是先承认用户的情绪、表达理解。情感计算让 Agent 实现了从"功能正确"到"体验正确"的跃迁： - 情绪适配：根据用户情绪状态调整语气、措辞和响应策略 - 冲突降级：在检测到负面情绪时，主动采取安抚、转人工等策略 - 信任构建：持续的共情响应显著提升用户对 Agent 的接受度和满意度 - 意图澄清：情绪线索往往是隐式意图的关键信号

1.2 情感数据的商业与技术价值

情感信号不仅是"软体验"，更是硬数据。用户在与 Agent 交互过程中的情绪波动，可以反映产品痛点、服务断点，甚至预测用户流失风险。将情感计算融入 Agent 架构，实际上是构建了一套实时、低成本的用户体验监测体系。

二、情绪识别技术：从文本到多模态

2.1 文本情感分析：Agent 的"读心术"基础

文本仍然是当前 Agent 交互的主要载体。文本情感分析技术经历了从基于词典到深度学习，再到 LLM 时代的演进。

基于 LLM 的情感分类

现代 Agent 可以直接利用 LLM 强大的上下文理解能力进行情感分析，无需额外训练专用模型：

from openai import OpenAI

client = OpenAI()

def analyze_emotion(text: str) -> dict:
    """使用 LLM 进行细粒度情感分析"""
    prompt = f"""
    分析以下用户输入的情感状态。请返回 JSON 格式：
    - emotion: 主要情绪（joy, anger, sadness, fear, surprise, neutral）
    - intensity: 强度（1-5）
    - sentiment: 整体极性（positive, negative, neutral）
    - confidence: 置信度（0-1）
    
    用户输入："{text}"
    """
    
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": "你是一个专业的情感分析助手，只返回 JSON，不添加任何解释。"},
            {"role": "user", "content": prompt}
        ],
        response_format={"type": "json_object"}
    )
    
    import json
    return json.loads(response.choices[0].message.content)

示例

result = analyze_emotion("这产品太难用了，我折腾了一整天还是搞不定！") print(result)

输出: {'emotion': 'anger', 'intensity': 4, 'sentiment': 'negative', 'confidence': 0.92}

这种基于 LLM 的方法的优势在于：无需标注数据、支持细粒度情感维度、理解上下文依赖。对于 Agent 来说，可以将情感分析作为每个用户输入的预处理步骤，将结果注入后续决策流程。

2.2 多模态情感感知：超越文本的维度

人类情感表达是多通道的——语气、表情、语速、停顿都承载着丰富的情绪信息。多模态情感计算让 Agent 能够综合利用这些信号： | 模态 | 情感信号 | 技术方案 | |------|----------|----------| | 文本 | 词汇选择、标点、句式 | LLM 情感分析、BERT 微调 | | 语音 | 音调、语速、能量、停顿 | Wav2Vec + 情感分类器 | | 视觉 | 面部表情、微表情、姿态 | 面部 landmarks + 表情识别模型 | | 生理 | 心率、皮肤电（穿戴设备） | 传感器数据 + 时序模型 | 对于语音 Agent（如客服电话机器人），语音情感识别尤为关键：

import librosa
import numpy as np
from transformers import Wav2Vec2ForSequenceClassification, Wav2Vec2FeatureExtractor

class VoiceEmotionAnalyzer:
    def __init__(self, model_name="facebook/wav2vec2-large-xlsr-53"):
        self.feature_extractor = Wav2Vec2FeatureExtractor.from_pretrained(model_name)
        self.model = Wav2Vec2ForSequenceClassification.from_pretrained(
            "your-finetuned-emotion-model"  # 需使用情感数据集微调
        )
    
    def analyze(self, audio_path: str) -> dict:
        """分析音频中的情感"""
        speech, sr = librosa.load(audio_path, sr=16000)
        inputs = self.feature_extractor(
            speech, 
            sampling_rate=16000, 
            return_tensors="pt", 
            padding=True
        )
        
        with torch.no_grad():
            logits = self.model(inputs).logits
        
        predicted_id = torch.argmax(logits, dim=-1).item()
        confidence = torch.softmax(logits, dim=-1)[0][predicted_id].item()
        
        emotion_labels = ["neutral", "happy", "sad", "angry", "fear"]
        return {
            "emotion": emotion_labels[predicted_id],
            "confidence": confidence,
            "audio_features": {
                "pitch_mean": np.mean(librosa.yin(speech, fmin=50, fmax=300)),
                "energy": np.mean(librosa.feature.rms(y=speech)[0])
            }
        }

2.3 情感状态追踪：不只是"当前情绪"

单次情感检测容易受噪声影响，真正有用的情感计算需要情感状态追踪——即在多轮对话中持续建模用户情绪的动态变化：

from dataclasses import dataclass, field
from typing import List
from collections import deque

@dataclass
class EmotionState:
    """用户情感状态追踪"""
    current_emotion: str = "neutral"
    intensity: float = 0.0
    emotion_history: deque = field(default_factory=lambda: deque(maxlen=10))
    trend: str = "stable"  # rising, falling, stable
    
    def update(self, new_emotion: str, new_intensity: float):
        self.emotion_history.append({
            "emotion": new_emotion,
            "intensity": new_intensity
        })
        
        # 计算情绪趋势
        if len(self.emotion_history) >= 3:
            recent = [e["intensity"] for e in list(self.emotion_history)[-3:]]
            if recent[-1] > recent[0] + 0.5:
                self.trend = "rising"