一、Logistic回归

Logistic回归（软回归）

输出样本属于“+1”类的概率

【核心函数】sigmoid函数 $\theta (s)=\frac{1}{1+e^{-s}}$
【损失函数】交叉熵损失

• 单个样本损失$l_n=ln(1+exp(-y_n{w}^T{x}_n))$，令$z_n=-y_n{w}^T{x}_n$
• 单个样本$\nabla {\ell }_n(w)=\theta (-y_n{w}^T{x}_n)(-y_n{x}_n)$
• 整体梯度：$\nabla {\ell }_n(w)=\frac{1}{N}{\sum }_{n=1}^N\theta (-y_n{w}^T{x}_n)(-y_n{x}_n)$

【步骤】

• 初始化权向量$w_0$，计算梯度$\nabla {\ell }_{in}(w_t)$
• 参数更新：$w_{t+1}=w_t-\eta \cdot \nabla {\ell }_{in}(w_t)$
• 输出${\hat{y}}_n=h(x_n)=\theta (w^T{x}_n)=\frac{1}{1+e^{-w^T{x}_n}}$

【与其他线性模型对比】

二、非线性变换（为SVM做铺垫）

1.维度 d维原始样本，经过Q次多项式变换后维度：$\tilde{d}=\left(\genfrac{}{}{0ex}{}{Q+d}{Q}\right)=\frac{(Q+d)!}{Q!\cdot d!}$​（有放回的组合问题）
2.VC维：衡量模型复杂度

• 样本数N越大、VC 维$d_{vc}$​越小，训练误差与测试误差的差异越小，泛化能力越强
• $d_{vc}$​↑：模型复杂度↑，$E_{in}$↓，但泛化误差边界Ω↑，易过拟合
• $d_{vc}$​↓：模型复杂度↓，Ω↓，但$E_{in}$↑，易欠拟合
• $E_{in}$​小代表训练效果好，$E_{out}$​大代表测试效果差

3.正则化——平衡训练误差与模型复杂度：在损失函数中加入参数惩罚项

• 公式：$mi{n}_w{E}_{aug}(w)=E_{in}(w)+\frac{\lambda }{N}{w}^{T}w$

附录：
Logistic回归关键代码

class LogisticRegression:
    def __init__(self, learning_rate=0.01, batch_size=32, epochs=100):
        self.learning_rate = learning_rate
        self.batch_size = batch_size
        self.epochs = epochs
        self.weights = None  # 核心参数：权重（含偏置）

    # Sigmoid激活函数（简化版）
    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    # 添加偏置项
        def add_bias(self, X):
        return np.hstack([X, np.ones((X.shape[0], 1))])

    # 核心：计算交叉熵损失（评估模型）
    def compute_loss(self, X, y):
        y_pred = self.sigmoid(np.dot(X, self.weights))
        epsilon = 1e-10  # 避免log(0)
        loss = -np.mean(y * np.log(y_pred + epsilon) + (1 - y) * np.log(1 - y_pred + epsilon))
        return loss

    # 梯度下降（参数更新）
    def gradient_descent(self, X, y):
        n_samples = X.shape[0]
        y_pred = self.sigmoid(np.dot(X, self.weights))
        gradient = np.dot(X.T, (y_pred - y)) / n_samples  # 平均梯度
        self.weights -= self.learning_rate * gradient