习题 2-1

分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题。

1.平方损失函数

平方损失函数(MSE)表达式
$$L=\frac{1}{2m}\sum _{i=1}^m(y-y^{\prime }{)}^2$$平方损失函数较为容易理解，它直接测量机器学习模型的输出与实际结果之间的距离。这里定义机器学习模型的输出为$y_i$，实际的结果为$y_i^{\prime }$

分析平方损失函数不适用于分类问题：使用平方损失函数处理分类问题时，由于分类问题的结果是离散值,分类正确的项之间以及分类错误的项之间误差都是一样的，不具有距离的意义，通过计算平方得到的误差大小实际上并不能很好地反映误差大小，且分类问题的函数不是凸函数，会陷入局部最小点，会对优化造成困难。

现在要分类 $Y$ ={1 , 2 , 3 1,2,31,2,3}，假设第一个样本属于1，而如果使用平方差损失函数的预测为2，那么误差为$\frac{1}{2}$ ,如果结果预测为3，那么误差为2 。在分类问题中，预测为3和预测为2是等价的，代表的都是错误，并没距离的成分。所以平方误差不适合分类任务

2.交叉熵损失函数

交叉熵损失函数(CrossEntropyLoss)表达式:
$$L=-\sum _{i=1}^{n}p(x_i)log(q(x_i))$$是用来评估当前训练得到的概率分布与真实分布的差异情况，减少交叉熵损失就是在提高模型的预测准确率。其离散函数形式。

分析交叉熵损失函数不适用于回归问题：交叉熵损失函数之和分类正确的预测结果有关，但回归问题除了要让正确的分类尽量变大，还要让错误的分类变得平均。因此回归问题不适合使用 交叉熵损失函数。

注：交叉熵经常搭配softmax使用，将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。

习题 2-12

对于一个三分类问题 ， 数据集的真实标签和模型的预测标签如下 ：

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。
格式要求：使用公式编辑器，在博客上正确书写公式。

1. 精确率（也叫精度或查准率）

$$\begin{gathered} P1=\frac{T{P}_1}{T{P}_1+F{P}_1}=\frac{1}{1+1}=\frac{1}{2} \\ - \\ P2=\frac{T{P}_2}{T{P}_2+F{P}_2}=\frac{2}{2+2}=\frac{1}{2} \\ - \\ P3=\frac{T{P}_3}{T{P}_3+F{P}_3}=\frac{2}{2+1}=\frac{2}{3} \end{gathered}$$

2. 召回率（Recall）（也叫查全率）

$$\begin{gathered} R1=\frac{T{P}_1}{T{P}_1+F{N}_1}=\frac{1}{1+1}=\frac{1}{2} \\ - \\ R2=\frac{T{P}_2}{T{P}_2+F{N}_2}=\frac{2}{2+1}=\frac{2}{3} \\ - \\ R3=\frac{T{P}_3}{T{P}_3+F{N}_3}=\frac{2}{2+2}=\frac{1}{2} \end{gathered}$$

3. F值（F Measure）（是一个综合指标，为精确率和召回率的调和平均）

$$\begin{gathered} F1=\frac{(1+\beta )\ast P_1\ast R_1}{{\beta }^2\ast P_1+R_1}=\frac{2\ast \frac{1}{2}\ast \frac{1}{2}}{1\ast \frac{1}{2}+\frac{1}{2}}=\frac{1}{2} \\ - \\ F2=\frac{(1+\beta )\ast P_2\ast R_2}{{\beta }^2\ast P_2+R_2}=\frac{2\ast \frac{1}{2}\ast \frac{2}{3}}{1\ast \frac{1}{2}+\frac{2}{3}}=\frac{4}{7} \\ - \\ F3=\frac{(1+\beta )\ast P_3\ast R_3}{{\beta }^2\ast P_3+R_3}=\frac{2\ast \frac{2}{3}\ast \frac{1}{2}}{1\ast \frac{2}{3}+\frac{1}{2}}=\frac{4}{7} \end{gathered}$$

3. 宏平均（Macro-averging）是每一类的性能指标的算术平均值

1. 宏查准率

$$P_{macro}=\frac{1}{n}\sum _{i=1}^n{P}_i=\frac{1}{3}\ast (\frac{1}{2}+\frac{1}{2}+\frac{2}{3})=\frac{5}{9}$$

2. 宏查全率

$$R_{macro}=\frac{1}{n}\sum _{i=1}^n{R}_i=\frac{1}{3}\ast (\frac{1}{2}+\frac{2}{3}+\frac{1}{2})=\frac{5}{9}$$

3. F1

$$F{1}_{macro}=\frac{2\ast P_{macro}\ast R_{macro}}{P_{macro}+R_{macro}}=\frac{2\ast \frac{5}{9}\ast \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$$

4. 微平均（Micro-averging） 是每一个样本的性能指标的算术平均值．

$$\begin{gathered} P_{macro}=\frac{{\sum }_{i=1}^{n}T{P}_i}{{\sum }_{i=1}^{n}T{P}_i+{\sum }_{i=1}^{n}F{P}_i}=\frac{1+2+2}{(1+2+2)+(1+2+1)}=\frac{5}{9} \\ - \\ {R}_{macro}=\frac{{\sum }_{i=1}^{n}T{P}_i}{{\sum }_{i=1}^{n}T{P}_i+{\sum }_{i=1}^{n}F{N}_i}=\frac{1+2+2}{(1+2+2)+(1+1+2)}=\frac{5}{9} \\ - \\ F{1}_{macro}=\frac{2\ast P_{macro}\ast R_{macro}}{{\beta }^2\ast P_{macro}+R_{macro}}=\frac{2\ast \frac{5}{9}\ast \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9} \end{gathered}$$

---

总结：
通过该代码的练习，更加熟悉了数学公式的博客书写，也了解了精确率、召回率、F1值以及它们的宏平均和微平均的计算，深刻理解了平方损失函数和交叉熵损失函数的相关应用的区别。

---

如有错误与建议，望告知！！！（将于下篇文章更正）
请多多关注我！！！谢谢！！！