本文介绍了多元线性回归中的三种变量选择方法：向前选择法、向后剔除法和逐步回归法。通过构造十维多元回归模拟数据（含8个有效变量和2个无效变量），分别实现了基于AIC和BIC准则的变量选择过程。结果显示，三种方法均能有效识别真实有效变量（X1-X3,X5-X6,X8-X10）并剔除无效变量（X4,X7）。其中逐步回归法综合了向前选择和向后剔除的优点，通过交替执行变量添加和删除操作，能更精准地选择最优变

变量选择的本质是：在多个候选模型中，通过 AIC、BIC、调整后或 F 检验等准则，选择一个既能较好解释数据、又不过度复杂的模型。变量选择可以概括为：候选变量→构建候选模型→计算评价准则→比较模型→确定最终变量集合pSSR%5E2R%5E2R%5E2R%5E2R%5E2R%5E2nk%7CS%7C1R%5E2SSER%5E2R%5E22kLk2k2k2knC_p2kSSE_pkSSE_RSSE_F

模型结果是否可信，参数是否稳定，残差是否满足基本假设，是否存在异常样本严重影响模型。可以概括为：建模→估计参数→显著性检验→回归诊断→模型修正所以，回归诊断是从“会建模”走向“会判断模型质量”的关键步骤。

一元线性回归模型为：其中：是截距项；是回归系数；是误差项。对于建模，我们需要找到一条直线，使所有样本点到这条直线的残差平方和最小，也就是到这条直线的距离之和最小。也就是：等价于：通过对和分别求偏导，并令偏导等于0，得到最小二乘估计。手动编写和利用R包的效果几乎一致。当维度增加，我们的一元线性回归就变成多元线性回归了。