1. 统计量基础

1. 均值

$$\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

2. 方差

$${\sigma }^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x})$$

3. 标准差

$$\sigma =\sqrt{{\sigma }^2}$$

2. 多元统计基础

1.大数定律与中心极限定理

1.1.大数定律

• 切雪夫不等式：若$E(X),D(X)$都存在，$\xi >0$,则

  P {   ∣ X − E ( X ) ∣ ≥ ξ   } ≤ D ( X ) ξ 2 \footnotesize P\left\{\ \left|X-E(X)\right|\ge\xi\ \right\}\le\dfrac{D(X)}{\xi^2} P{ ∣X−E(X)∣≥ξ }≤ξ2D(X)​

• 切雪夫大数定律推论：若相互独立的$X_1,\cdots ,X_n$相同分布，$E(X_k)=\mu ,D(X_k)={\sigma }^2$存在，对于

  $$\underset{n\to +\infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\xi \right\}=1$$，

  则推论：
  lim ⁡ n → + ∞ P {   ∣ Y n − a ∣ < ξ   } = 1 记作： Y n → P a \footnotesize\lim_{n\rightarrow+\infty}P\left\{\ \left|Y_n-a\right|<\xi\ \right\}=1\\ 记作：Y_n\xrightarrow{P}a n→+∞lim​P{ ∣Yn​−a∣<ξ }=1记作：Yn​P ​a

1.2.中心极限定理

相互独立随机变量$X_1,\cdots ,X_n$服从同一分布，且$E(X)=\mu ，D(X_k)={\sigma }^2\ne 0$,随机变量序列$Y_n=\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$的分布函数$F_n(X)$当$n\to +\infty$时趋于标准正态分布函数：

lim ⁡ n → + ∞ F n ( x ) = lim ⁡ n → + ∞ P { Y n ≤ x } = ∫ − ∞ x 1 2 π e − t 2 2 d t = Φ ( x − μ σ ) \\ \footnotesize\lim_{n\rightarrow+\infty}F_n(x) =\lim_{n\rightarrow+\infty}P\left\{Y_n≤x\right\} ={\int_{-\infty}^x\dfrac1{\sqrt{2\pi}}e^{-\tiny{\dfrac{t^2}2}}}\,dt=\\\Phi\left(\dfrac{x-\mu}{\sigma}\right) n→+∞lim​Fn​(x)=n→+∞lim​P{Yn​≤x}=∫−∞x​2π ​1​e−2t2​dt=Φ(σx−μ​)

推论定理：棣莫弗-拉普拉斯中心极限
设$m_A$表示$n$次重复实验中事件$A$发生的次数，对于任意$(a,b]$,$E(X)=\mu ,D(X)={\sigma }^2\ne 0$恒有

lim ⁡ x → + ∞ P { a < m A ≤ b } = ∫ a b 1 2 π e − t 2 2 d t = Φ ( b − μ σ ) − Φ ( a − μ σ ) \footnotesize \lim_{x\rightarrow+\infty}P\left\{ a<m_{\tiny A}\le b \right\}\\=\int_{a}^b\dfrac{1}{\sqrt{2\pi}}e^{\tiny{-\dfrac{t^2}2}}\,dt\\=\Phi\left(\dfrac{b-\mu}{\sigma}\right)-\Phi\left(\dfrac{a-\mu}{\sigma}\right) x→+∞lim​P{a<mA​≤b}=∫ab​2π ​1​e−2t2​dt=Φ(σb−μ​)−Φ(σa−μ​)

2. 协方差矩阵

$$\begin{gathered} \mathbf{\Sigma }=\left[\begin{array}{cccc}Cov(x_1,x_1)& Cov(x_1,x_2)& \cdots & Cov(x_1,x_j)\\ Cov(x_2,x_1)& Cov(x_2,x_2)& \cdots & Cov(x_2,x_j)\\ ⋮& ⋮& \ddots & ⋮\\ Cov(x_i,x_1)& Cov(x_i,x_2)& \cdots & Cov(x_i,x_j)\end{array}\right] \\ 对称矩阵：Cov(x_i,x_j)=Cov(x_j,x_i) \end{gathered}$$

• 协方差性质
  1. $D(x)=Cov(x,x)$
  2. $Cov(x,y)=Cov(y,x)$
  3. $D\left(x+y\right)=D\left(x\right)+D\left(y\right)-2Cov\left(x,y\right)$
  4. $Cov\left(x,y\right)=E\left(xy\right)-E\left(x\right)E\left(y\right)$
  5. $Cov(kx,ky)=k^{2}Cov(x,y)$
  6. $Cov(x_1+x_2,y)=Cov(x_1,y)+Cov(x_2,y)$
• 协方差相关系数：${\rho }_{xy}=\frac{Cov\left(x,y\right)}{\sqrt{D\left(x\right)D\left(y\right)}}$

3.多元统计量

1.均值

一元推广到多元就是${\overline{x}}_i$按列向量分块$\left(\begin{array}{c}{\overline{x}}_1\\ ⋮\\ {\overline{x}}_i\end{array}\right)$，则为多元样本均值$\mathbf{\mu }$

结论：
$$\begin{gathered} \mathbf{\mu }={\left({\overline{\mathbf{x}}}_1,\cdots ,{\overline{\mathbf{x}}}_i\right)}^T \\ ({\overline{x}}_i为i列的列向量) \\ {\overline{x}}_i=\frac{1}{n}\sum _{i=1}^n{x}_i \end{gathered}$$

2.方差

一元推广到多元就是根据协方差的性质，其中每个$i$样本下的第$j$个均值，$ij$样本的方差即为：$Cov(i,j)=s_{ij}=\frac{1}{n-1}{\sum }_{i=1}^n(x_i-{\overline{x}}_j)$
根据这个我们进行分块可以构造协方差矩阵——多元的方差 :$\sum ={\left(cov(s_{ij})\right)}_{i\times j}$

下面公式读者可以根据矩阵展开的乘法定义来推导
$$\mathbf{\Sigma }=\left[\begin{array}{ccc}{s}_{11}& \cdots & s_{i1}\\ ⋮& \ddots & ⋮\\ s_{1j}& \cdots & s_{ij}\end{array}\right]=\frac{1}{n-1}\sum _{i=1}^n({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^T$$

3. 相关系数

根据协方差的相关系数，${\rho }_{xy}=\frac{Cov\left(x,y\right)}{\sqrt{D\left(x\right)D\left(y\right)}}=\frac{s_{ij}}{\sqrt{s_{ii}{s}_{jj}}}$可以知道变量间的相关性，基于此公式可以从一元推广到多元
不难看出其是对称矩阵即：${\sigma }^T=\sigma$

公式自行推导，这些推导不难
$$\begin{gathered} \mathbf{R}=\left[\begin{array}{cccc}1& {\rho }_{12}& \cdots & {\rho }_{1j}\\ {\rho }_{21}& 1& \cdots & {\rho }_{2j}\\ ⋮& ⋮& \ddots & ⋮\\ {\rho }_{i1}& {\rho }_{i2}& \cdots & 1\end{array}\right]={\mathbf{\sigma }}^{-1}{\mathbf{\Sigma }(\mathbf{\sigma }}^{-1}{)}^T={\mathbf{\sigma }}^{-1}{\mathbf{\Sigma }\mathbf{\sigma }}^{-1} \\ {\mathbf{\sigma }}^{-1}=\frac{1}{|\mathbf{\sigma }|}{\mathbf{\sigma }}^{\ast } \\ \mathbf{\sigma }=\{\begin{array}{l}\sqrt{s_{ij}}，i=j\\ \\ 0，i\ne j\end{array} \end{gathered}$$

4. 多元正态分布

根据上面的大数定律和中心极限定理，我们知道正态分布重要性，根据${\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$根据分布服从$X\sim N_1(\mu ,{\sigma }^2)$，我们可以推导出多元正态分布公式
$$\begin{gathered} n维正态分布服从\mathbf{X}\sim N_n\left(\mathbf{\mu },\mathbf{\Sigma }\right)，即： \\ f(x_1,\cdots ,x_n)=\frac{1}{(2\pi {)}^{n/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \left\{-\frac{1}{2}(\mathbf{X}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{X}-\mathbf{\mu })\right\} \end{gathered}$$

4. 行列式

det ⁡ A = ∣ A ∣ = ∑ p 1 p 2 ⋯ p n 是排列数 ( − 1 ) t a 1 p 1 a 2 p 2 … a n p n { 和式是对 S n = { 1 , 2 , ⋯ , n } 所有排列作和 t 是排列数 p 1 p 2 ⋯ p n 的逆序数 \footnotesize\det \boldsymbol A=\left|\boldsymbol A\right|=\sum_{p_1p_2\cdots p_n是排列数}(-1)^ta_{1p_1}a_{2p_2}…a_{np_n}\\ \begin{cases} 和式是对S_n=\{1,2,\cdots,n\}所有排列作和\\ t是排列数p_1p_2\cdots p_n的逆序数 \end{cases} detA=∣A∣=p1​p2​⋯pn​是排列数∑​(−1)ta1p1​​a2p2​​…anpn​​{和式是对Sn​={1,2,⋯,n}所有排列作和t是排列数p1​p2​⋯pn​的逆序数​
$${注}^{\ast }：\{\begin{array}{l}：1p_{1}2p_2\cdots n{p}_n是为保证每个元素不同行不同列\\ 1.S_n自然排列时，t=0\\ 2.当S_n非自然排列，t={\sum }_{i=1}^{n-1}(p_i的逆序对总数)\end{array}$$

• 余子式展开式

  • $i$行展开式
    $$\det \mathbf{A}=a_{i1}{\mathbf{A}}_{i1}+a_{i2}{\mathbf{A}}_{i2}+\cdots +a_{in}{\mathbf{A}}_{in}，i=1,2,\cdots ,n$$

  • ** $j$列展开式**
    $$\det \mathbf{A}=a_{1j}{\mathbf{A}}_{1j}+a_{2j}{\mathbf{A}}_{2j}+\cdots +a_{nj}{\mathbf{A}}_{nj}，j=1,2,\cdots ,n$$

• 性质

  1. $\left|{\mathbf{A}}^{\text{T}}\right|=\left|\mathbf{A}\right|$
  2. $\mathbf{A}\stackrel{r_i\leftrightarrow r_j}{\to }\mathbf{B}$，则$\left|\mathbf{B}\right|=-\left|\mathbf{A}\right|$
  3. $\mathbf{A}\stackrel{r_i÷k}{\to }\mathbf{B}，则\left|\mathbf{B}\right|=k\left|\mathbf{A}\right|，提取\mathbf{A}某行元素公因式k$
  4. $\mathbf{A}\stackrel{r_i+k{r}_j}{\to }\mathbf{B}，则\left|\mathbf{B}\right|=\left|\mathbf{A}\right|$
  5. $若矩阵\mathbf{A}两行相同或者成比例，则\left|\mathbf{A}\right|=0$
  6. 若$\mathbf{A}$某行元素为两矩阵某行元素之和，可拆成$\left|\mathbf{A}\right|=\left|\mathbf{B}\right|+\left|\mathbf{C}\right|$

1. 余子式

$n$阶方阵中$\text{A}$矩阵的划去$(i,j)$元所在$i$行$,j$列，剩下$n-1$阶方阵行列式$\text{A}$的$(i,j)$元余子式，记作${\text{M}}_{ij}$

$${\mathbf{A}}_{ij}=(-1{)}^{i+j}{\mathbf{M}}_{ij}$$

2. 伴随矩阵

$${\mathbf{A}}^{\ast }=\left(\begin{array}{cccc}{\mathbf{A}}_{11}& {\mathbf{A}}_{12}& \dots & {\mathbf{A}}_{1n}\\ {\mathbf{A}}_{21}& {\mathbf{A}}_{22}& \cdots & {\mathbf{A}}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{A}}_{n1}& {\mathbf{A}}_{n2}& \cdots & {\mathbf{A}}_{nn}\end{array}\right)$$

• 性质
  $${\mathbf{AA}}^{\ast }={\mathbf{A}}^{\ast }\mathbf{A}=\left|\mathbf{A}\right|\mathbf{E}$$

5. 矩阵

1. 逆矩阵

1. 存在的必要条件

$$Condition=\{\begin{array}{l}n\times n的方阵\\ \left|\mathbf{A}\right|\ne 0\end{array}$$

2. 求解方式

1. ${\mathbf{A}}^{-1}=\frac{1}{\left|\mathbf{A}\right|}{\mathbf{A}}^{\ast }$
2. 设$\mathbf{A}$是$n$阶方阵，${\mathbf{E}}_n$写$\mathbf{A}$右边，构成$n\times 2n$矩阵，当$\left(\mathbf{X},\mathbf{E}\right)$行最简行为$\left(\mathbf{E},\mathbf{X}\right)$时，$\mathbf{B}=\mathbf{A}{\mathbf{B}}^{-1}=\mathbf{X}$
   $$\left(\mathbf{X},\mathbf{E}\right)\stackrel{r}{\to }\left(\mathbf{E},\mathbf{A}{\mathbf{B}}^{-1}\right)$$

2. 方阵的特征值与特征向量

1. 定义与求解

• $\text{A}$是$n$阶方阵，若存在$\lambda$和$n$维非零向量$\mathbf{x}$，使

$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$$

• 求解特征值$\lambda$与特征向量$\mathbf{x}$，即：$(\lambda \mathbf{E}-\mathbf{A})\mathbf{x}=0$
  • 特征方程：$\left|\lambda \mathbf{E}-\mathbf{A}\right|=0$
  • 代入${\lambda }_i$求解$({\lambda }_i\mathbf{E}-\mathbf{A})=0$的${\mathbf{x}}_i$的特征值通解

2. 特征值$\lambda$与方阵$\mathbf{A}$关系

• ${\lambda }_1+\cdots +{\lambda }_n={\sum }_{i=0}^n{a}_{ii}$
• ${\lambda }_1\cdot \cdots \cdot {\lambda }_n=\left|\mathbf{A}\right|$

6. 回归

1. 线性回归

1. 原理

$$\begin{gathered} y_i={\beta }_0+\sum _{k=1}^n{\beta }_k{x}_k+\xi \\ y为房价，{\beta }_i为权重值，x_i为影响因素，\xi 为误差 \end{gathered}$$
线性回归模型预测本质上是求解向量${\mathbf{\beta }}^T=({\beta }_0,\cdots ,{\beta }_{n+1})$，即：
$$\begin{gathered} \left[\begin{array}{cccc}1& x_{11}& \cdots & x_{1n}\\ ⋮& ⋮& \ddots & ⋮\\ 1& x_{n1}& \cdots & x_{nn}\end{array}\right]\left[\begin{array}{c}{\beta }_0\\ ⋮\\ {\beta }_{n+1}\end{array}\right]=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right] \\ {y}_n为结果，x_n为影响因素，{\beta }_{n+1}为参数 \end{gathered}$$

2. 参数估计（最小二乘法）

参数估计本质是为了找寻最优的${\mathbf{\beta }}^T$，以减少误差，即：
$$\begin{gathered} \min \left\{k\sum _{i=1}^n(Y_i-y_i{)}^2\right\} \\ {Y}_i为观测值，y_i为预测值 \end{gathered}$$

3. 极大似然估计与核函数

原因：若试验中结果$A$已出现，选择当试验结果有利于$A$的出现时，使其出现的概率最大，为了让其最大
$$\begin{gathered} \frac{\partial \ln L(x_1,\cdots ,x_n;{\hat{\theta }}_k)}{\partial {\hat{\theta }}_k}=0 \\ \hat{\theta }为所求的似然估计值 \end{gathered}$$
$\max \left\{{\hat{\theta }}_1,\cdots ,{\hat{\theta }}_k\right\}$即为最大似然估计值

1. 若有所求$f(x)$其中对于有$n+1$变量的似然函数$L$，利用核函数（本质就是不定积分分解函数）分解变量，即：
   $$L(x_1,\cdots ,x_n;{\hat{\theta }}_k)=\prod _{i=1}^{n}f(x_i;{\hat{\theta }}_k)$$
   …额…哪个定理我忘了…反正内容是：连续的函数曲线必然存在一条与x轴平行的导数
2. 为了简化$\max {\hat{\theta }}_k$计算，我们直接求二阶偏导就是最大的那个估计值，即：对似然求$\ln L$对${\hat{\theta }}_k$的二阶偏导，即：
   $$\frac{{\partial }^2\ln L(x_1,\cdots ,x_n;\max \hat{\theta })}{{\partial }^2\max \hat{\theta }}=0$$

2.非线性回归

省略，因为非线性问题要根据实际情况求解$y_i$，没有标准的求解过程

3. 聚类

1. 距离矩阵

$$\mathbf{D}=\left[\begin{array}{cccc}0& d_{12}& \cdots & d_{1i}\\ d_{21}& 0& \cdots & d_{2i}\\ ⋮& ⋮& \ddots & ⋮\\ di1& d_{i2}& \cdots & 0\end{array}\right]$$

1. 明氏距离

$$\begin{gathered} d_{ij}(q)={\left[\sum _{k=1}^p(x_{ik}-x_{jk}{)}^q\right]}^{\frac{1}{q}} \\ \{\begin{array}{l}绝对值距离：{\sum }_{k=1}^p|x_{ik}-x_{jk}|，q=1\\ \\ 欧式距离：\sqrt{{\sum }_{k=1}^p(x_{ik}-x_{jk}{)}^2}，q=2\end{array} \end{gathered}$$

2. 系统聚类

1. 最短距离法

1. 欧式距离计算距离矩阵$\mathbf{D}$
2. 取距离最短 d ( p , q ) = min ⁡ { d i j ∣ i ∈ G p , j ∈ G q } \footnotesize d(p,q)=\min\{d_{ij}|i\in G_p,j\in G_q\} d(p,q)=min{dij​∣i∈Gp​,j∈Gq​} ，将其$G_p$和$G_q$合并为$G_r$
3. 不断循环$(2)$，即 D ( r , s ) = min ⁡ { D ( p , s ) , D ( q , s ) } \footnotesize D(r,s)=\min\{D(p,s),D(q,s)\} D(r,s)=min{D(p,s),D(q,s)}

• 随机生成数据

   属性1   属性2   属性3   属性4   属性5   属性6   属性7   属性8   属性9  属性10  ...  属性91  \
   样本1    51.0  92.0  14.0  71.0  60.0  20.0  82.0  86.0  74.0  74.0  ...  71.0   
   样本2    25.0  88.0  59.0  40.0  28.0  14.0  44.0  64.0  88.0  70.0  ...  61.0   
   样本3     8.0  61.0  36.0  96.0  50.0  43.0  23.0  78.0  58.0  31.0  ...   0.0   
   样本4    79.0   2.0  19.0  23.0  53.0  32.0  23.0  74.0  71.0  35.0  ...  94.0   
   样本5    65.0  26.0   1.0  89.0  16.0  32.0   8.0  42.0  47.0  38.0  ...  88.0   
   ...     ...   ...   ...   ...   ...   ...   ...   ...   ...   ...  ...   ...   
   样本96   73.0  73.0  87.0  84.0  10.0  90.0  15.0  89.0  60.0  93.0  ...  86.0   
   样本97    1.0  83.0  14.0   3.0  85.0  49.0  37.0  22.0  58.0  89.0  ...  26.0   
   样本98   23.0  64.0  17.0  43.0  75.0  56.0  27.0  70.0  22.0  84.0  ...   9.0   
   样本99   53.0   5.0  39.0  92.0  93.0   1.0  72.0   1.0  92.0  96.0  ...  10.0   
   样本100  38.0  52.0  89.0  77.0  55.0   0.0  55.0   3.0  29.0  11.0  ...   7.0 

• 距离矩阵

    J  ...       ›       œ              ž       Ÿ               ¡  \
     A   441.67  ...  427.99  418.59  422.05  451.32  422.26  445.76  357.46   
     B   452.00  ...  428.31  418.79  385.88  418.18  413.27  399.54  432.34   
     C   441.16  ...  434.73  414.96  430.76  410.47  407.07  403.58  419.55   
     D   441.67  ...  406.94  377.22  403.83  435.04  422.13  435.32  435.48   
     E   419.32  ...  433.59  360.35  413.75  391.80  399.48  385.85  431.59   
     ...
     £   433.56    0.00  419.90  
      ¤   386.23  419.90    0.00  
      [100 rows x 100 columns]

• 分类图片与结果示例

至于为什么这个样本为啥是这个名字…主要是我给样本命名用的ascll原因…

类别1：{'K'}
类别2：{'u'}
类别3：{'O'}
类别4：{'b'}
类别5：{'k'}
类别6：{'¤'}
类别7：{'}'}
类别8：{'\x84'}
类别9：{'x'}
类别10：{'\x88'}
类别11：{'\x7f'}
类别12：{'I'}
类别13：{'S'}
类别14：{'X'}
类别15：{'¢'}
类别16：{'\x91'}
类别17：{'\x89'}
类别18：{'\x8c'}
类别19：{'\x97'}
类别20：{'g'}
类别21：{'l'}
类别22：{'\x85'}
类别23：{'\x99'}
类别24：{'a'}
类别25：{'\x92'}
...
类别97：{'C'}
类别98：{'^'}
类别99：{'\x8a'}
类别100：{'\x8f'}

2. 重心法

$$\begin{gathered} {\mathbf{G}}_{ij}=\frac{1}{2}\sum _{k=1}^p\mathbf{d} \\ \mathbf{d}=(x_i,\cdots ,x_n{)}^T \end{gathered}$$

1. 计算各样本到欧式距离，取其样本最大距离作为中心点$m_i$
2. 根据中心点到其它样本距离初步划分类$G_i$
3. 修改划分类，计算各类重心$G_{k..n}$，根据$d_{i{G}_k}<<d_{i{G}_n}$，确定分为一类,判断初步分类是否正确并且重新划分类$G_i$

• 注意

系统聚类有很多各种方法，这里是最典型的最短距离法,还有很多例如重心法，Ward法,最长距离法，类平均法，中间距离等各种方法，每种侧重不一样，思想一样

优缺点

• 优点：相对精确，适合数量小时候
• 缺点：但当数据量巨大时，性能过差，甚至计算机会停止工作

3. $K-mean$快速聚类——适合数据量大

1. 随机初始$k$个簇心
   $${\mathbf{m}}_k=(x_1,\cdots ,x_n{)}^T$$
2. 不断计算蔟心与距离直到蔟不再变化
   $$簇心：{\mathbf{m}}_k=\frac{1}{n_k}\sum _{x\in D_i}x$$

数据集省略，结果和图例展示

• 这个是用库自带的KMeans算法和PCA聚类
  

类别1：{'\x81', 'n', 'w', 'v', 'D', 'd', 'p', '\x9a', 'M', 't', '\x9c', '\x80', 'o', 'L', 'Q', '|', 'h', 'f', 'q', '\x8e'}
类别2：{'\x91', '\x84', 'k', 'O', '\x87', 'J', '\x8f', '\xa0', 'S', '¤', '¢', '\x96'}
类别3：{'x', '~', '\x9b', 'u', 'E', 'C', 'R', '\x88', 'B', 'K', '\\', '\x8a', 'U', 'm', 'Z', '¡', 'X'}
类别4：{'r', 'b', 'G', 'T', '\x9e', 'N', 'H', 'V', '}', '\x9f', '\x9d', 'y', '[', '{', 'A', 'a', 'j', 'z', '\x97', 'P', 'g', 'F', '`', 'c', '\x83', '\x8d', '\x99', '\x7f', 'I'}
类别5：{'\x8c', '\x94', '£', ']', '\x98', '^', 'i', 'l'}
类别6：{'Y', '\x86', '\x95', '\x89', 'e', 'W', '\x8b', '_', '\x92', '\x93', '\x90', '\x82', '\x85', 's'}

当然我自己也有写算法，上面系统聚类也写了，不过因为系统聚类本身对大量数据性能差，用的少，所以就不放了，KMeans倒是可以放一下

注意：我这个数据是没有经过PCA降维

• 代码

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

#随机数据
np.random.seed(52)
data1=  np.random.randn(50, 2)+ np.array([1, 1])
data2=  np.random.randn(50, 2)+ np.array([-1, -1])
data3=  np.random.randn(50, 2)+ np.array([-1, 1])
data=np.vstack((data1, data2, data3))

#距离计算
def distance(point1, point2):
    diff=point2-point1
    return np.sqrt(sum(diff**2))

#随机初始化质心
def random_select(data:np.ndarray,k:int):
    return data[np.random.choice(data.shape[0], k, replace=False)]

#聚类
def means(data:np.ndarray,k:int,centers:np.ndarray):
    row=data.shape[0]
    change=True
    #存储每点[蔟索引,到中心点的距离]
    subCenters=np.zeros((row,2))
    while change:
        change=False
        # 计算每个点到中心点的距离，将每个点分配到距离最近的中心点
        for i in range(row):
            minDis=np.inf
            index=0
            for j in range(k):
                dis=distance(data[i,],centers[j,])
                if dis<minDis:
                    minDis=dis
                    index=j
            if subCenters[i,0]!=index:
                change=True
                subCenters[i,]=np.array([index,minDis])
        # 计算新的中心点
        if change:
            for i in range(k):
                points=data[np.nonzero(subCenters[:,0]==i)]
                if len(points)>0:
                    centers[i,]=np.mean(points,axis=0)
    return subCenters,centers

def kmeans(data:np.ndarray,k:int) -> tuple:
    centers:np.ndarray = random_select(data,k)
    return means(data,k,centers)


# 随机选择k个质心
k=4
subCenters,centers=kmeans(data,k)
# 绘制散点图
for i in range(k):
    points=data[np.nonzero(subCenters[:,0]==i)]
    if len(points)>0:
        plt.scatter(points[:, 0], points[:, 1], label=f'数据蔟 {i+1}')
plt.scatter(centers[:, 0], centers[:, 1], c='red', marker='x', s=100, label='中心点')
plt.xlabel('X')
plt.ylabel('Y')
plt.title('K-means Clustering')
plt.legend()
plt.show()

• 结果
  

4. 分析

1. 主成分分析

1. 主成分

$$Y_i={\mathbf{\alpha }}_i^T(\mathbf{z}-\mathbf{\mu })$$

1. 求解特征值$\lambda$与特征向量${\mathbf{\alpha }}_i$，即：$(\mathbf{\Sigma }-\lambda \mathbf{E})\mathbf{\alpha }=0$
2. 特征方程：$|\mathbf{\Sigma }-\lambda \mathbf{E}|=0$求解${\lambda }_i$
3. 主成分${\mathbf{\alpha }}_i$需要满足${\sum }_{i=1}^n{x}_i^2=1$

2. 方差贡献率

$$P=\max \left\{\frac{{\lambda }_i}{{\sum }_{i=1}^n{\lambda }_i}\right\}$$

其中当$\frac{{\lambda }_i}{{\sum }_{i=1}^n{\lambda }_i}$ 为最大时，此时特征向量 ${\mathbf{x}}_i$ 为主要的主成分因素，主要成分贡献率达到$P\ge 85\%$，若$\max P$未达到可加入次贡献率主成分

我这里选了三个样本特征，$k=3$，多的也懒，数据都一个样，设置随机种子，随机生成的…

	特征值	方差贡献率	累积方差贡献率
主成分1	1.12	37.03%	37.03%
主成分2	1.00	32.9%	69.93%
主成分3	0.91	30.07%	100.0%

我们可以明显注意到主成分1和主成分2占比最大，变量贡献率基本最多，那提取数据主要特征可以侧重于这两个特征向量提取，这样提取出来的信息会最大，数据效益更大化

不过会衍生出来另一个问题？
*能否找到这些主成分变量共同的因子？找到之后如何修正？并且确认，这就是后面的因子分析

2. 因子分析

1. 对称矩阵必可对角化：求解$\mathbf{R}={\mathbf{\sigma }}^{-1}\mathbf{\Sigma }{\mathbf{\sigma }}^{-1}$的特征向量${\mathbf{\alpha }}_i$和特征值${\lambda }_i$

2. 验证特征向量${\mathbf{\alpha }}_i$正交性：

   $$({\mathbf{\alpha }}_i,{\mathbf{\alpha }}_j)=0$$

3. 确定因子个数：$m$为因子个数

   $$累积方差贡献率：\frac{{\sum }_{i=1}^m{\lambda }_i}{{\sum }_{i=1}^n{\lambda }_i}\ge 80\%$$

4. 求因子载荷矩阵$\mathbf{A}$：

   $$\begin{gathered} \mathbf{A}=({\mathbf{\alpha }}_1,...,{\mathbf{\alpha }}_n)\left(\begin{array}{ccc}\sqrt{{\lambda }_1}& & \\ & \ddots & \\ & & \sqrt{{\lambda }_n}\end{array}\right) \\ 其中，{\mathbf{A}}_i={\mathbf{\alpha }}_i\sqrt{{\lambda }_i}=\left(\begin{array}{c}{a}_1\\ ⋮\\ a_n\end{array}\right) \end{gathered}$$

5. 建立因子模型$\mathbf{X}$：

   $$\begin{gathered} \mathbf{X}=\mathbf{A}\mathbf{F}+\mathbf{\xi } \\ 其中，x_i=a_i{F}_i+{\xi }_i \end{gathered}$$

6. 求共同度$h_i$：

   $$h_i=a_i^2$$

7. 求公共因子$F_i$对$x_i$的贡献率：

   $$\sum _{i=1}^n{a}_i^2$$
   *** 结果示例***

• 因子载荷矩阵
  
• 共同度

特征	共同度
特征1	0.040178
特征2	0.197625
特征3	0.184600
特征4	0.014987
特征5	0.071717
特征6	0.059740
特征7	0.064403
特征8	0.095648
特征9	0.650536
特征10	0.105380

• 旋转的因子载荷

	因子1	因子2
方差贡献率	81.83%	66.65%
累计方差贡献率	8.18%	6.67%
旋转后方差贡献率	8.18%	14.85%

3. 对应分析

可以同时对变量和样品分析

1. 频率矩阵$\mathbf{P}$

$$\begin{gathered} \mathbf{P}=\left[\begin{array}{cccc}{p}_{11}& p_{12}& \cdots & p_{1i}\\ p_{21}& p_{22}& \cdots & p_{2i}\\ ⋮& ⋮& \ddots & ⋮\\ pi1& p_{i2}& \cdots & pij\end{array}\right] \\ {p}_{ij}=\frac{{\text{data}}_{ij}}{n} \\ n=\sum _{i=1}^n\sum _{j=1}^n{\text{data}}_{ij} \end{gathered}$$

2. 过渡矩阵$\mathbf{Z}$

$$\begin{gathered} \mathbf{Z}=\left[\begin{array}{cccc}{z}_{11}& z_{12}& \cdots & z_{1i}\\ z_{21}& z_{22}& \cdots & z_{2i}\\ ⋮& ⋮& \ddots & ⋮\\ zi1& z_{i2}& \cdots & zij\end{array}\right] \\ {z}_{ij}=\frac{p_{ij}-p_{i\cdot }{p}_{\cdot j}}{\sqrt{p_{i\cdot }{p}_{\cdot j}}} \end{gathered}$$

3. 分别进行因子分析

• 对列$R$型变量因子分析

  $$\sum ={\mathbf{Z}}^T\mathbf{Z}$$

• 对行$Q$型样本因子分析

$$\sum =\mathbf{Z}{\mathbf{Z}}^T$$

5. 典型相关分析(二维的多维)

1. 求$\mathbf{X}$与$\mathbf{Y}$的$\sum$协方差矩阵

   $$\begin{gathered} \mathbf{X}=\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right) \\ \mathbf{Y}=\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right) \\ \Sigma =\left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right) \end{gathered}$$

2. 求典型相关系数

   $${\mathbf{A}}_2={\Sigma }_{11}^{-\frac{1}{2}}{\Sigma }_{12}{\Sigma }_{22}^{-\frac{1}{2}}{\Sigma }_{21}{\Sigma }_{11}^{-\frac{1}{2}}$$

   1. 求典型相关系数$|\mathbf{A}-\lambda \mathbf{E}|=0$，求${\lambda }_i$
   2. 成对相关系数$a_i=\sqrt{{\lambda }_i}$

eg：实例

到时候可能会放建模比赛的题目实例（等我先去比赛再说），现在给个大概理论知识