一.过拟合1.定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。2.通俗解释3.常见原因主要是学习过度和样本特征不均衡，如果细分，还可以包括（并未能列举全部原因）：（1）建模样本选取有误，样本标签错误等，导致选取的样本数据不足以代表预定的分类规则（2）样本噪音干扰过大，

一、卡方分布定义：若k个相互独立的随机变量ξ₁，ξ₂，…,ξk ，均服从标准正态分布（也称独立同分布于标准正态分布），则这k个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。卡方分布通常用于假设检验，特别是拟合优度的卡方检验。参数参数描述备注kkk自由度自由度自由度k是非负数k是非负数k是非负数概率密度函数其中Γ（•）

一.过拟合1.定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。2.通俗解释3.常见原因主要是学习过度和样本特征不均衡，如果细分，还可以包括（并未能列举全部原因）：（1）建模样本选取有误，样本标签错误等，导致选取的样本数据不足以代表预定的分类规则（2）样本噪音干扰过大，

解决办法是先对每个元素进行指数操作，全部转换为正数，然后再用刚才的方法得到每个类别的概率。softmax 函数将每个单元的输出压缩到 0 和 1 之间，是标准化输出，输出之和等于 1。在二分类任务中，输出层使用的激活函数为 sigmoid，而对于多分类的情况，就需要用到softmax 激活函数给每个类都分配一个概率。多分类的情况下，神经网络的输出是一个长度为类别数量的向量，比如输出是(1,1,2)

离散概率分布一、伯努利分布（Bernoulli distribution）伯努利分布又称“0-1分布”“两点分布”。伯努利分布指的是对于随机变量X有, 参数为p(0<p<1)，如果它分别以概率p和1-p取1和0为值。EX= p,DX=p(1-p)。伯努利试验成功的次数服从伯努利分布,参数p是试验成功的概率。伯努利分布是一个离散型机率分布，是N=1时二项分布的特殊情况。定义一个非常简单的