智能体实验失败后先保留哪些证据

训练卡冲着第 300 个 Epoch 去，Loss 突然变成 NaN

好不容易申请到 8 张 H800 计算卡，启动了一次大规模模型微调任务。前 50 个 Epoch 看起来一切正常，Validation Loss 稳定下降。

到了第 120 个 Epoch 的半夜，训练日志里的 Loss 突然跳变成 NaN。因为没有配置自动止损与告警通知，脚本就这么在后台白白跑了整个周末，算力资源彻底浪费。

深度学习模型训练绝不是把任务扔进 GPU 就可以高枕无忧的“黑盒操作”。在超参数搜索与大规模分布式训练的过程中，缺乏动态止损机制会导致极其高昂的算力成本浪费。

止损机制：不仅是看 Loss 掉不掉

很多刚接触模型训练的工程师认为，止损无非就是设置一个 EarlyStopping 策略，监测 Validation Loss 是否连续几轮不再下降。

这远远不够。面向生产环境的别的训练止损应监控多个维度的指标：

1. 梯度范数（Gradient Norm）：当梯度范数突然飙升到几千甚至上万时，意味着即将发生梯度爆炸，继续训练只会破坏已经学到的权重。
2. 学习率衰减下限：在配置了 Cosine Annealing 等学习率调度策略时，如果学习率已经衰减到极小值而指标依然达不到预期，应当果断中止。
3. 显存与硬件状态：温度过高引发的 GPU 降频会导致单个 Batch 耗时陡增，继续跑下去不仅算力利用率极低，还可能损坏硬件。

通过建立分层的止损闸门，可以在模型训练出现脱轨迹象的第一时间切断任务，将算力损耗降低到最低。

具备异常梯度与 Loss 突变自动止损的 Trainer Callback 代码

下面的 PyTorch 面向生产环境的 Trainer Callback 组件，展示了如何捕获 NaN/Inf 异常、监测梯度范数突变以及在指标异常时安全保存现场并停止训练。

import math
import torch
import logging
from typing import Dict, Any, Optional

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger("training_guard")

class TrainingEarlyStopGuard:
    """深度学习训练止损与异常监控护卫器"""
    def __init__(
        self,
        max_grad_norm_threshold: float = 10.0,
        patience: int = 5,
        min_delta: float = 1e-4
    ):
        self.max_grad_norm_threshold = max_grad_norm_threshold
        self.patience = patience
        self.min_delta = min_delta
        
        self.best_loss = float("inf")
        self.no_improvement_counter = 0
        self.grad_anomaly_counter = 0

    def check_step_health(self, loss: float, model: torch.nn.Module) -> Tuple[bool, str]:
        """在每个训练 Step 结束时检查 Loss 与梯度范数健康度"""
        # 1. 监测 Loss 数值有效性
        if math.isnan(loss) or math.isinf(loss):
            logger.error("检测到 Loss 变为 NaN 或 Inf，触发紧急止损！")
            return False, "NAN_OR_INF_LOSS"

        # 2. 计算并监测梯度范数
        total_norm = 0.0
        for p in model.parameters():
            if p.grad is not None:
                param_norm = p.grad.data.norm(2)
                total_norm += param_norm.item() ** 2
        total_norm = total_norm ** 0.5

        if total_norm > self.max_grad_norm_threshold:
            self.grad_anomaly_counter += 1
            logger.warning(f"当前 Step 梯度范数 {total_norm:.2f} 超过阈值 {self.max_grad_norm_threshold}")
            if self.grad_anomaly_counter >= 3:
                logger.error("连续多次梯度范数异常，触发梯度爆炸止损！")
                return False, "GRADIENT_EXPLOSION"
        else:
            self.grad_anomaly_counter = 0

        return True, "HEALTHY"

    def check_epoch_validation(self, val_loss: float) -> Tuple[bool, str]:
        """在每个 Epoch 验证集跑完后评估止损」"""
        if val_loss < (self.best_loss - self.min_delta):
            self.best_loss = val_loss
            self.no_improvement_counter = 0
            logger.info(f"Validation Loss 改善至: {val_loss:.4f}")
        else:
            self.no_improvement_counter += 1
            logger.info(f"Validation Loss 未显着改善，计数: {self.no_improvement_counter}/{self.patience}")

        if self.no_improvement_counter >= self.patience:
            logger.warning(f"连续 {self.patience} 个 Epoch 指标没有提升，触发 Early Stopping 止损")
            return False, "EARLY_STOPPING_TRIGGERED"

        return True, "CONTINUE"

# 模拟训练循环
if __name__ == "__main__":
    # 创建简单模型
    model = torch.nn.Linear(10, 1)
    optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
    guard = TrainingEarlyStopGuard(max_grad_norm_threshold=5.0, patience=3)

    # 模拟正常的 3 个 step
    for epoch in range(5):
        inputs = torch.randn(4, 10)
        targets = torch.randn(4, 1)
        
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = torch.nn.functional.mse_loss(outputs, targets)
        loss.backward()

        # 检查 Step 健康度
        healthy, reason = guard.check_step_health(loss.item(), model)
        if not healthy:
            print(f">>> 触发 Stop 规则: {reason}，训练终止")
            break
            
        optimizer.step()
        
        # 模拟 Epoch 验证集 Loss（假设 Validation Loss 不再下降）
        simulated_val_loss = 0.5 + (epoch * 0.01)
        cont, epoch_reason = guard.check_epoch_validation(simulated_val_loss)
        if not cont:
            print(f">>> Epoch 级别止损生效: {epoch_reason}")
            break

早期止损引发的边际风险与误杀率

止损规则虽然能省下真金白银的算力费，但如果阈值设得过于激进，很容易造成“误杀”。

特别是在使用 Warmup 策略或者 Complex Loss 曲线的训练初期，模型在刚开始的几个 Epoch 极易发生指标剧烈波动。此时如果过早触发了 Early Stopping，就会把一个原本可能在后期收敛得非常出色的模型扼杀在摇篮里。

因此，建议在 Trainer 中配置 warmup_epochs 保护期。在保护期内只拦截 NaN/Inf 和硬件故障，严格禁止触发指标停滞类止损。

把止损规则写进自动化 pipeline

在调参和模型迭代过程中，应把止损机制当作一等公民来对待。

不能依赖工程师每天早晨登录 Server 用 nvidia-smi 和 tail -f 人肉盯日志。将止损指标监控接入 Prometheus 和 TensorBoard，配合钉钉/飞书机器人实时告警，才能实现算力运营的降本增效。

模型训练是一场持久战，学会及时止损，才能把资源花在最有价值的实验上。