本文介绍了机器学习中回归与分类任务常用的损失函数及其特点。回归任务常用均方误差(MSE)、绝对误差(MAE)和Huber损失，其中MSE易受异常值影响但易优化，MAE鲁棒性强但在零点不可导，Huber损失结合了两者优点。分类任务常用0-1损失、对数似然损失、合页损失和交叉熵损失，其中交叉熵最常用。文章还详细解释了决定系数R²及其衍生物调整R²，指出R²用于评估回归模型拟合优度，而调整R²通过惩罚无

本文介绍了分类模型评估中的混淆矩阵及其衍生指标PR曲线和ROC曲线。混淆矩阵通过TP、TN、FP、FN四个指标展示分类结果，并衍生出准确率、召回率、精确率等评估指标。F1分数作为精确率和召回率的调和平均数，适用于类别不平衡的场景。PR曲线适用于正类样本较少的情况，关注正类预测性能；ROC曲线通过真正率和假正率评估模型整体区分能力，适用于类别均衡场景。文章还解释了AUC（曲线下面积）作为ROC曲线量

就是结合了MSE和MAE的优点（取其精华，去其糟粕），当误差小的时候采用MSE，当误差大的时候采用MAE。决定系数R**2用来衡量回归模型对数据变异的解释能力，其值越接近1，表示模型的拟合越好，越接近零，表示与简单平均预测效果相当，小于零则说明模型表现很差，还不如瞎猜呢，选择单选题蒙对也有25%概率，甚至比25%还低，蒙的都比模型对的多。Adjusted R**2 在R**2的基础上引入了对特征数

本文介绍了机器学习中三种常见的模型评估方法：留出法、K-折交叉验证法和自助法。留出法简单易用但数据利用率低，K-折交叉验证通过多次划分提高稳定性但计算成本高，自助法通过有放回抽样解决小数据集问题但会改变数据分布。三种方法各有优劣，需根据具体场景选择。其中K=10的交叉验证最为常用，而自助法特别适合小数据集评估，其约36.8%的样本可作为测试集。这些方法的核心目标都是准确评估模型的泛化能力。