统计三大分布1. χ2\chi^2χ2分布本质：χ2\chi^2χ2分布是由正态分布派生出来的一种分布定义：设X1,X2,...,XnX_1,X_2,...,X_nX1​,X2​,...,Xn​相互独立，都服从正态分布N(0,1)N(0,1)N(0,1)，则称随机变量:χ2=X12+X22+⋅⋅⋅+Xn2\chi^2=X_1^2+X_2^2+···+X_n^2χ2=X12​+X...

n元正态分布概率密度定义设X′=(X1,X2,...,Xn)X'=(X_1,X_2,...,X_n)X′=(X1​,X2​,...,Xn​)是一个n维随机向量，若它的概率密度为f(x1,x2,...,xn)=1(2π)n/2∣C∣1/2exp{−12(X−μ)’C−1(X−μ)}f(x_1,x_2,...,x_n)=\frac{1}{(2\pi)^{n/2}|C|^{1/2}}exp\...

1.随机试验、随机事件、样本空间随机试验：每次出现的可能结果不止一个，且事先不能肯定会出现哪一个结果的试验随机事件：在一次试验中可能发生也可能不发生的事件分类：基本事件：相对于观察目的不可再分解的事件复合事件：两个及以上基本事件合并随机事件的概率:1≥P(A)≥01 \geq P(A)\geq 01≥P(A)≥0表示事件A发生概率样本点：随机试验的每个基本结果，...

此笔记学习和整理自刘建平-机器学习中的矩阵向量求导1-4此篇学习笔记md文档支持Typora检索，可参考理科生学习笔记制作/markdown+Latex / Typoramd文档下载链接文末矩阵向量求导*没有说明的向量都为列向量1.求导定义与求导布局1.矩阵向量求导引入标量对标量的求导，如标量y对标量x的求导为∂y∂x\frac{\partial y}{\partial x}∂...

随机向量函数的分布背景：当随机变量X1,X2,...,XnX_1,X_2,...,X_nX1​,X2​,...,Xn​的联合分布已知时，如何求出它们的函数Yi=gi(X1,X2,...,Xn),i=1,2,...,mY_i=g_i(X_1,X_2,...,X_n),i=1,2,...,mYi​=gi​(X1​,X2​,...,Xn​),i=1,2,...,m的联合分布离散型分布的情形：...

lambda function详解

最大熵模型（maximum entropy model ）由最大熵原理推导出来。1. 最大熵原理最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。假设离散随机变量X的概率分布是P(X)P(X)P(X)，则其熵是H(P

1. 最大熵模型的学习最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最优化问题。对于给定的训练数据集T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}以及特征函数fi(x,y),i=1,2,⋯ ,nf_i

数学期望1.随机变量的数学期望背景：如果知道了随机变量X的概率分布，那么X的全部概率特征也就都知道了，但是在实际问题中，概率分布一般是比较难确定的，因此人们并不需要知道随机变量的一切概率性质，只要知道它的某些数字特征（期望和方差）就够了。离散型随机变量的数学期望设X是离散型随机变量，它的概率函数是P(X=Xk)=pk, k=1,2,...P(X=X_k)=p_k,\spa...

n元正态分布概率密度定义设X′=(X1,X2,...,Xn)X'=(X_1,X_2,...,X_n)X′=(X1​,X2​,...,Xn​)是一个n维随机向量，若它的概率密度为f(x1,x2,...,xn)=1(2π)n/2∣C∣1/2exp{−12(X−μ)’C−1(X−μ)}f(x_1,x_2,...,x_n)=\frac{1}{(2\pi)^{n/2}|C|^{1/2}}exp\...