这篇文章集中回答三个问题：

• 从似然假设到经验风险
• 叶权闭式解和分裂增益
• 缺失、权重与约束如何进入目标

---

数据生成、缺失机制与防泄露特征工程

数据生成过程与损失函数的工作假设

平方损失的高斯似然解释要求在给定协变量后，误差满足零均值、同方差与适当的独立条件。独立同分布并非使用平方损失的逻辑必要条件，而是把负对数似然严格化为同权残差平方和的一组充分假设。二元分类的伯努利模型使用对数几率自然参数 $z$：

$$Y_i\mid {\mathbf{X}}_i\sim \mathrm{Bernoulli}(p_i),\log \left(\frac{p_i}{1-p_i}\right)=F({\mathbf{X}}_i).$$

计数目标可用条件泊松均值 ${\mu }_i=\exp (F({\mathbf{X}}_i))$，但过度离散与零膨胀需要另行检验。Cox 部分似然把风险函数与基线风险分离，依赖比例风险与非信息性删失等条件；它不能当作普通逐样本独立损失直接套入第三章的叶权推导。不同目标的梯度和 Hessian 必须按其实际风险集重新计算。

MCAR、MAR 与 MNAR 的识别边界

令 $M_k=1$ 表示第 $k$ 个变量缺失。MCAR 要求 $M_k$ 与完整数据独立；MAR 允许缺失概率依赖可观测变量；MNAR 则允许它在给定已观测变量后仍依赖未观测值。仅凭观测数据不能一般地验证 MAR 对 MNAR 的区分。对业务含义明确的缺失，应同时保留缺失指示、记录采集流程，并在时间外样本上比较“原生缺失路由”和“填补加指示”的性能及校准。

XGBoost 的稀疏感知切分在候选阈值扫描时对缺失样本分别尝试默认向左与向右，选择较优的方向。它学习的是与训练目标相关的默认路由，不是对缺失值的因果解释。若上线采集机制变化，曾经有用的默认方向也可能成为漂移来源[1]。

类别编码与时间顺序

原生类别支持要求明确类别类型与受支持的树方法；其分区搜索和序列化约束应以所用 XGBoost 版本文档为准[2]。频率编码不直接使用标签，却可能泄漏测试总体频数；目标编码使用标签，必须逐折或按时间隔离。对类别 $c$，平滑编码为

$${\hat{m}}_c=\frac{{\sum }_{i:X_i=c}{y}_i+\alpha \hat{\mu }}{n_c+\alpha },\alpha >0.$$

普通 OOF 编码使验证行只读取其他折的标签；时间任务还须保证第 $i$ 行只读取严格早于 $i$ 的标签。噪声注入可作为训练期正则化选项，但必须在 OOF 编码之后进行，且不能污染验证与测试编码。未知类别回退到训练折先验。

代码：折外与历史前缀目标编码的完整实现

"""Leakage-safe preprocessing and categorical encoding demonstrations."""

from __future__ import annotations

from typing import Tuple

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold

def synthetic_mixed_table(seed: int = 11) -> Tuple[pd.DataFrame, np.ndarray]:
    rng = np.random.default_rng(seed)
    n = 600
    category = rng.choice(["north", "south", "east", "west"], n)
    amount = rng.lognormal(2.0, 0.6, n)
    risk = -2.0 + 0.45 * (category == "west") + 0.35 * np.log1p(amount)
    probability = np.exp(-np.logaddexp(0.0, -risk))
    target = rng.binomial(1, probability).astype(int)
    missing = rng.random(n) < np.where(category == "west", 0.18, 0.03)
    amount[missing] = np.nan
    return pd.DataFrame({"region": pd.Categorical(category), "amount": amount}), target

def oof_target_encoding(
    category: pd.Series,
    target: np.ndarray,
    n_splits: int = 5,
    smoothing: float = 20.0,
    seed: int = 11,
) -> np.ndarray:
    """Each training row uses only labels from its complementary folds."""
    values = category.astype("string").fillna("<missing>").reset_index(drop=True)
    y = np.asarray(target, dtype=float).reshape(-1)
    if len(values) != len(y) or not np.all(np.isfinite(y)):
        raise ValueError("Category and finite target must have matching lengths.")
    if n_splits < 2 or smoothing <= 0:
        raise ValueError("Use at least two folds and positive smoothing.")
    result = np.empty(len(y), dtype=float)
    splitter = KFold(n_splits=n_splits, shuffle=True, random_state=seed)
    for train_index, valid_index in splitter.split(values):
        prior = float(np.mean(y[train_index]))
        frame = pd.DataFrame({"key": values.iloc[train_index], "y": y[train_index]})
        summary = frame.groupby("key", dropna=False)["y"].agg(["sum", "count"])
        encoded = (summary["sum"] + smoothing * prior) / (summary["count"] + smoothing)
        result[valid_index] = values.iloc[valid_index].map(encoded).fillna(prior).to_numpy()
    return result

def past_only_target_encoding(
    category: pd.Series,
    target: np.ndarray,
    smoothing: float = 20.0,
) -> np.ndarray:
    """Input must be sorted by event time; a row never sees its own or future label."""
    values = category.astype("string").fillna("<missing>").reset_index(drop=True)
    y = np.asarray(target, dtype=float).reshape(-1)
    if len(values) != len(y) or smoothing <= 0:
        raise ValueError("Invalid target length or smoothing.")
    frame = pd.DataFrame({"key": values, "y": y})
    cumulative_sum = frame.groupby("key", dropna=False)["y"].cumsum() - y
    cumulative_count = frame.groupby("key", dropna=False).cumcount()
    global_prior_sum = np.cumsum(y) - y
    global_prior_count = np.arange(len(y))
    prior = np.divide(
        global_prior_sum,
        np.maximum(global_prior_count, 1),
        out=np.full(len(y), 0.5),
        where=global_prior_count > 0,
    )
    return ((cumulative_sum + smoothing * prior) / (cumulative_count + smoothing)).to_numpy()

if __name__ == "__main__":
    table, label = synthetic_mixed_table()
    print("OOF mean", float(np.mean(oof_target_encoding(table["region"], label))))
    print("past-only mean", float(np.mean(past_only_target_encoding(table["region"], label))))

数据协议的反例检查

应当用实体、时间、采集批次与标签成熟时间共同设计切分。对每一项派生特征记录最晚可用时点 $t_k^{\mathrm{available}}$；只有满足

$$t_k^{\mathrm{available}}\le t_i^{\mathrm{decision}}$$

才能用于样本 $i$ 的决策。填补器、缩放器、编码器与特征选择器必须仅在对应训练折拟合。将全集统计量预先写回数据表再交叉验证，是最常见也最隐蔽的穿越路径。

阶段目标、二阶优化与结构搜索

符号、维度与条件

设训练集为

D={(xi,yi)}i=1n,xi∈Rd,yi∈R. \mathcal{D}= \left\{(\boldsymbol{x}_i,y_i)\right\}_{i=1}^{n}, \qquad \boldsymbol{x}_i\in\mathbb{R}^d, \qquad y_i\in\mathbb{R}. D={(xi​,yi​)}i=1n​,xi​∈Rd,yi​∈R.

第 $t$ 轮加入树 $f_t(\mathbf{x})=w_{q(\mathbf{x})}$。树结构 $q$ 把样本映射到 $T$ 个叶节点，叶权向量为 $\mathbf{w}\in {\mathbb{R}}^T$。加法模型与结构正则项分别为

$${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t-1)}+f_t({\mathbf{x}}_i),$$
$$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2,\gamma \ge 0,\lambda \ge 0.$$

训练的精确阶段目标为

$${\mathcal{L}}^{(t)}=\sum _{i=1}^n\ell \left(y_i,{\hat{y}}_i^{(t-1)}+f_t({\mathbf{x}}_i)\right)+\Omega (f_t).$$

推导需要两个条件：损失关于当前预测至少二阶可微；叶内累计曲率满足 $H_j+\lambda >0$。前者允许局部二次近似，后者保证每个叶权子问题严格凸并拥有唯一极小点。

若希望进一步给出余项的数值上界，可假设第三阶导数在本轮更新覆盖的预测区间内存在且满足 $|{\varphi }_i^{(3)}(u)|\le M_i$。此时拉格朗日余项满足

$$|R_{i,3}|\le \frac{M_i}{6}|f_t({\mathbf{x}}_i){|}^3.$$

这是一项局部充分条件，不能推出整座离散树结构空间的全局收敛。平方损失的三阶导数为零，其二次展开则恰好无余项；二元逻辑损失需要控制原始分数的局部范围。不要把“有二阶导数”误写成“所有步长都安全”。

表：核心对象及其维度。

对象	维度	含义
$\mathbf{X}$	$n\times d$	样本—特征矩阵
$\mathbf{g},\mathbf{h}$	$n\times 1$	样本一阶梯度与对角二阶曲率
$\mathbf{w}$	$T\times 1$	当前树的叶权
$\mathbf{A}$	$n\times T$	叶归属矩阵，$A_{ij}=\mathbb{I}(q({\mathbf{x}}_i)=j)$
$\mathbf{G},\mathbf{H}$	$T\times 1$	叶内梯度与曲率之和

由归属矩阵可写出 $\mathbf{f}=\mathbf{A}\mathbf{w}\in {\mathbb{R}}^n$、$\mathbf{G}={\mathbf{A}}^{\mathsf{T}}\mathbf{g}$ 与 $\mathbf{H}={\mathbf{A}}^{\mathsf{T}}\mathbf{h}$。维度检查不是礼仪，而是推导的第一道单元测试。

高斯似然与平方损失的对应

假设响应由加性高斯噪声产生：

$$y_i=F({\mathbf{x}}_i)+{\epsilon }_i,{\epsilon }_i\stackrel{\text{i.i.d.}}{\sim }\mathcal{N}(0,{\sigma }^2).$$

条件密度为

$$p(y_i\mid {\mathbf{x}}_i,F)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[-\frac{{\left(y_i-F({\mathbf{x}}_i)\right)}^2}{2{\sigma }^2}\right].$$

独立性使联合似然成为各项乘积。取负对数，并逐项展开：

$$\log p(\mathbf{y}\mid \mathbf{X},F)=-\sum _{i=1}^n\log p(y_i\mid {\mathbf{x}}_i,F)=\frac{n}{2}\log (2\pi {\sigma }^2)+\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left(y_i-F({\mathbf{x}}_i)\right)}^2.$$

当 ${\sigma }^2$ 固定时，第一项与 $F$ 无关，第二项的正常数因子不改变极小点，于是最大似然估计与最小化平方误差等价。这个结论并非说现实噪声一定高斯，而是说选择平方损失，等于在决策层面接受了高斯、同方差与轻尾的工作假设。第五章的重尾破坏实验正是来收这张欠条。

叶权高斯先验与二次正则化

给定树结构 $q$，对每个叶权施加独立零均值高斯先验：

$$w_j\sim \mathcal{N}(0,{\tau }^2).$$

其负对数先验为

$$-\log p(\mathbf{w}\mid q)=-\sum _{j=1}^T\log p(w_j)=\frac{T}{2}\log (2\pi {\tau }^2)+\frac{1}{2{\tau }^2}\sum _{j=1}^T{w}_j^2.$$

将前述公式 与前述公式 相加得到负对数后验。若把数据项整体乘以 $2{\sigma }^2$，则二次惩罚的相对强度满足

$$\lambda \propto \frac{{\sigma }^2}{{\tau }^2}.$$

噪声越强或先验越确信叶权应靠近零，$\lambda$ 就应更大。$\gamma T$ 还可被理解为对叶数的指数型复杂度先验：每多开一片叶子，都必须支付固定的拓扑价格。

阶段目标的二阶泰勒展开与余项

为缩短记号，令当前预测 $a_i={\hat{y}}_i^{(t-1)}$，当前树输出 $b_i=f_t({\mathbf{x}}_i)$，并定义单变量函数

$${\varphi }_i(u)=\ell (y_i,u).$$

在 $u=a_i$ 处对 ${\varphi }_i(a_i+b_i)$ 使用带余项的二阶泰勒公式：

$${\varphi }_i(a_i+b_i)={\varphi }_i(a_i)+{\varphi }_i^{\prime }(a_i)b_i+\frac{1}{2}{\varphi }_i^{\prime \prime }(a_i)b_i^2+R_{i,3},$$

其中，若三阶导数在邻域内存在，则存在位于 $a_i$ 与 $a_i+b_i$ 之间的 ${\xi }_i$，使

$$R_{i,3}=\frac{1}{6}{\varphi }_i^{(3)}({\xi }_i)b_i^3.$$

定义

把展开式代回前述公式，忽略三阶余项，得到

$$\begin{gathered} {\mathcal{L}}^{(t)}\approx \sum _{i=1}^n\left[\ell (y_i,a_i)+g_i{b}_i+\frac{1}{2}{h}_i{b}_i^2\right]+\Omega (f_t) \\ =\underset{\text{与当前树无关}}{\underbrace{\sum _{i=1}^n\ell (y_i,a_i)}}+\sum _{i=1}^n\left[g_i{f}_t({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_t^2({\mathbf{x}}_i)\right]+\Omega (f_t). \end{gathered}$$

去掉与 $f_t$ 无关的常数项，定义可优化的近似目标

$${\tilde{\mathcal{L}}}^{(t)}=\sum _{i=1}^n\left[g_i{f}_t({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_t^2({\mathbf{x}}_i)\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2.$$

这一步好比给近视眼木匠配备曲率放大镜：一阶梯度告诉他木板往哪边歪，二阶曲率告诉他该削一毫米还是一厘米。但放大镜只在局部可靠，因此仍需学习率 $\eta$ 控制实际步幅。

叶节点统计量聚合与最优叶权

令第 $j$ 个叶中的样本索引集合为

Ij={i:q(xi)=j}. I_j=\left\{i:q(\boldsymbol{x}_i)=j\right\}. Ij​={i:q(xi​)=j}.

由于 $f_t({\mathbf{x}}_i)=w_j$ 对所有 $i\in I_j$ 成立，前述公式 可重排为

$$\begin{gathered} {\tilde{\mathcal{L}}}^{(t)}=\sum _{j=1}^T\left[\sum _{i\in I_j}{g}_i{w}_j+\frac{1}{2}\sum _{i\in I_j}{h}_i{w}_j^2\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2 \\ =\sum _{j=1}^T\left[G_j{w}_j+\frac{1}{2}(H_j+\lambda )w_j^2\right]+\gamma T, \end{gathered}$$

其中

$$G_j=\sum _{i\in I_j}{g}_i,H_j=\sum _{i\in I_j}{h}_i.$$

固定树结构后，各叶子彼此解耦。对第 $j$ 项配方：

$$\begin{gathered} G_j{w}_j+\frac{1}{2}(H_j+\lambda )w_j^2=\frac{1}{2}(H_j+\lambda )\left[w_j^2+2\frac{G_j}{H_j+\lambda }{w}_j\right] \\ =\frac{1}{2}(H_j+\lambda ){\left(w_j+\frac{G_j}{H_j+\lambda }\right)}^2-\frac{1}{2}\frac{G_j^2}{H_j+\lambda }. \end{gathered}$$

因为 $H_j+\lambda >0$，平方项非负，且仅当

$$\boxed{w_j^{\ast }=-\frac{G_j}{H_j+\lambda }}$$

时取零。因此前述公式 是唯一全局极小点，而不只是驻点。也可通过求导复核：

$$\begin{gathered} \frac{\partial {\tilde{\mathcal{L}}}^{(t)}}{\partial w_j}=G_j+(H_j+\lambda )w_j, \\ \frac{{\partial }^2{\tilde{\mathcal{L}}}^{(t)}}{\partial w_j^2}=H_j+\lambda >0. \end{gathered}$$

结构评分与分裂增益的目标差分

把最优叶权代回前述公式，平方项消失，得到固定结构 $q$ 的最优近似目标值：

$$\boxed{\mathrm{Score}(q)=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T}.$$

分数越小越好。现在考虑把一个父叶 $I$ 分成左右子叶 $I_L$ 与 $I_R$。记

$$G=G_L+G_R,H=H_L+H_R.$$

分裂前，该局部结构对最优目标的贡献为

$$S_{\mathrm{before}}=-\frac{1}{2}\frac{G^2}{H+\lambda }+\gamma .$$

分裂后，叶数增加一，局部贡献为

$$S_{\mathrm{after}}=-\frac{1}{2}\left[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }\right]+2\gamma .$$

把“旧目标减新目标”定义为收益，逐项相减：

KaTeX parse error: Expected 'EOF', got '&' at position 22: …atorname{Gain} &̲= S_{\mathrm{be…

只有当 $\mathrm{Gain}>0$ 时，这次切分在二阶近似下才真正降低了正则化目标。Gain 不是神秘的经验分数，而是“分裂前后最优局部能量之差”。

结构复杂度惩罚与叶权阻尼

$\gamma$ 与 $\lambda$ 作用在不同对象上。$\gamma$ 按叶计费，改变树的拓扑；$\lambda$ 按权重幅度计费，改变固定拓扑上的动力学。

叶数惩罚与后剪枝判据

贪心生长时可以先允许候选切分展开，再自底向上检查收益。若某分支带来的累计收益不能覆盖 $\gamma$，便删除该分支。这是一种离散拓扑后剪枝：它不是把叶权缩小，而是让某些叶节点从结构上消失。$\gamma$ 越大，模型越要求每次拓扑扩张提供可审计的能量回报。

二次正则与 Hessian 谱下界

对固定结构，叶权 Hessian 为对角矩阵

$$\mathbf{K}=\mathrm{diag}(H_1,\dots ,H_T)+\lambda {\mathbf{I}}_T.$$

其特征值为 $H_j+\lambda$。若所有 $H_j\ge 0$，则最小特征值至少为 $\lambda$；当 $\lambda >0$ 时，即使某叶曲率接近零，子问题仍保持强凸。谱条件数为

$$\kappa (\mathbf{K})=\frac{{\max }_j(H_j+\lambda )}{{\min }_j(H_j+\lambda )}.$$

在分母很小时加入 $\lambda$ 通常会改善条件数，也直接缩小前述公式 的幅度。因此 $\lambda$ 同时是统计收缩器、数值阻尼器与局部信任机制。

一阶与二阶参数递推

若把叶权当作连续参数，固定结构下的二次近似可写为

$$Q(\mathbf{w})={\mathbf{G}}^{\mathsf{T}}\mathbf{w}+\frac{1}{2}{\mathbf{w}}^{\mathsf{T}}\mathbf{K}\mathbf{w}+\gamma T.$$

一阶梯度下降递推为

$${\mathbf{w}}^{(k+1)}={\mathbf{w}}^{(k)}-{\alpha }_k\left(\mathbf{G}+\mathbf{K}{\mathbf{w}}^{(k)}\right),$$

其中步长 ${\alpha }_k>0$。二阶 Newton 递推为

$$\begin{gathered} {\mathbf{w}}^{(k+1)}={\mathbf{w}}^{(k)}-{\mathbf{K}}^{-1}\left(\mathbf{G}+\mathbf{K}{\mathbf{w}}^{(k)}\right) \\ =-{\mathbf{K}}^{-1}\mathbf{G}. \end{gathered}$$

由于 $Q$ 恰为二次函数，Newton 法一步到达最优点；其第 $j$ 个分量正是前述公式。XGBoost 的巧妙之处，在于它没有对全部历史树的所有参数做一次巨型 Newton 更新，而是在每轮新增树上构造一个可分解、可贪心搜索的局部二阶子问题。

典型损失的梯度与 Hessian

平方损失

取

$$\ell (y,\hat{y})=\frac{1}{2}(\hat{y}-y{)}^2,$$

则

$$g=\hat{y}-y,h=1.$$

因此回归时叶节点的 $H_j$ 就是叶内样本数。最小叶权曲率约束在此等价于最小叶样本量约束。

二元逻辑损失

令原始分数为 $z$，概率为

$$p=\frac{1}{1+\exp (-z)},$$

负对数似然为

$$\ell (y,z)=-y\log p-(1-y)\log (1-p).$$

逐步求导可得

$$\frac{\partial p}{\partial z}=p(1-p),$$

以及

$$\begin{gathered} g=\frac{\partial \ell }{\partial z}=p-y, \\ h=\frac{{\partial }^2\ell }{\partial z^2}=p(1-p). \end{gathered}$$

当 $p$ 极接近零或一时，$h$ 接近零，Newton 步可能放大。min_child_weight、$\lambda$、最大叶权限制与学习率共同构成安全带；数值实现还应使用稳定 sigmoid、概率截断与 Log-Sum-Exp。生产接口见第四章，纯 NumPy 白盒核见附录。

若将所有叶权作为参数，固定树结构时预测扰动为 $\mathbf{A}\mathbf{w}$，逻辑损失的二阶信息矩阵为

$${\mathbf{A}}^{\mathsf{T}}\mathrm{diag}\left(p_1(1-p_1),\dots ,p_n(1-p_n)\right)\mathbf{A}+\lambda {\mathbf{I}}_T.$$

由于每个样本只属于一片叶，该矩阵为对角阵，第 $j$ 个对角元恰为 $H_j+\lambda$。伯努利自然参数下，$p_i(1-p_i)$ 也是单个观测对原始分数的 Fisher 信息；这解释了为何极端概率样本对局部曲率预算贡献很小。这里讨论的是固定树结构的叶权坐标，不意味着树的离散切分空间拥有一个可微的全局黎曼度量。

这里 ${\sum }_{i\in I_j}{p}_i(1-p_i)$ 是逻辑目标的叶内曲率质量，并非严格意义上的“信息熵”或样本数。$\gamma$ 判断一次合法切分的收益是否足以支付拓扑成本，而 min_child_weight 先判断子叶曲率质量是否达到准入下限。极端置信度下后者可能先阻断候选，此时调低 $\gamma$ 也不会使该切分重新出现。

收缩步长与局部二次近似的有效范围

解析叶权 $w_j^{\ast }$ 是局部二次模型建议的完整位移，实际提升通常只走其中一部分：

$$F_t(\mathbf{x})=F_{t-1}(\mathbf{x})+\eta f_t(\mathbf{x}),0<\eta \le 1.$$

从离散动力系统看，$\eta$ 是时间步长。较小的 $\eta$ 降低二阶近似在远处失真的风险，也让后续树有机会修正当前树的结构偏差；代价是需要更多轮数。若把 $\eta$ 调得极小却不增加树数，模型会欠拟合；若把 $\eta$ 与树数同时开到极端，则只是让计算账单替代统计判断。

推导的适用边界

本章所有优雅公式都依赖局部二次近似与候选结构的贪心搜索。它们不能保证在全部树结构组成的离散空间中找到全局最优树，也不能让非凸、非二阶可微信号自动变得温顺。XGBoost 的“二阶”指每轮目标近似使用一阶梯度与对角二阶曲率，不等于对整座树结构空间做完整 Newton 优化。理解这条边界，能防止把一把精良扳手误认成宇宙定律。

参考文献

1. Tianqi Chen, Carlos Guestrin. XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，2016.
2. XGBoost Developers. Categorical Data. https://xgboost.readthedocs.io/en/stable/tutorials/categorical.html

---

系列导航

1. XGBoost 原理详解（一）：模型定义、空间切分与二阶训练机制
2. XGBoost 原理详解（二）：目标函数、梯度、Hessian 与分裂增益推导（本文）
3. XGBoost 工程实践（三）：稀疏感知、生产 API、Optuna 调参与 NumPy 实现
4. XGBoost 工程实践（四）：压力测试、SHAP、因果边界与端到端案例