课程地址

简介

什么是机器学习

为什么要学机器学习

第一章 数学基础

1.1 微积分

1.1.1 导数

1.1.1.1 概念

导数是微积分中的一个概念。函数在某一点的导数是指这个函数在这一点附近的变化率（即函数在这一点的切线斜率）。导数的本质是通过极限的概念对函数进行局部的线性逼近。

当函数$f$的自变量在一点$x_0$上产生一个增量$h$时，函数输出值的增量$∆y$与自变量增量$∆x$的比值在$∆x$趋于0时的极限如果存在，即为$f$在$x_0$处的导数，记作$f^{\prime }(x_0)$、$\frac{df}{dx}(x_0)$或$\frac{df}{dx}{|}_{x=x_0}$。
$$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$

1.1.1.2 基本函数的导数

说明	公式	例子
常数的导数	$(C{)}^{\prime }=0$	$(3{)}^{\prime }=0$
幂函数的导数	$(x^a{)}^{\prime }=a{x}^{a-1}$	$(x^3{)}^{\prime }=3x^2$
指数函数的导数	$(a^x{)}^{\prime }=a^{x}lna$	$(3^x{)}^{\prime }=3^{x}ln3$
指数函数的导数	$(e^x{)}^{\prime }=e^x$	-
对数函数的导数	$(lo{g}_{a}x{)}^{\prime }=\frac{1}{xlna}$	$(l{n}_{3}x{)}^{\prime }=\frac{1}{xln3}$
对数函数的导数	$(lnx{)}^{\prime }=\frac{1}{x}$	-
三角函数的导数	$(sinx{)}^{\prime }=cosx$	-
三角函数的导数	$(cosx{)}^{\prime }=-sinx$	-
三角函数的导数	$(tanx{)}^{\prime }=se{c}^{2}x=\frac{1}{co{s}^{2}x}$	-
三角函数的导数	$(cotx{)}^{\prime }=-cs{c}^{2}x=\frac{-1}{si{n}^{2}x}$	-

1.1.1.3 导数的求导法则

说明	公式
两函数之和求导	$(f+g{)}^{\prime }=f^{\prime }+g^{\prime }$
两函数之积求导	$(fg{)}^{\prime }=f^{\prime }g+f{g}^{\prime }$
两函数之商求导	$(\frac{f}{g}{)}^{\prime }=\frac{f^{\prime }g-f{g}^{\prime }}{g^2}$
复合函数的导数	若$f(x)=h[g(x)]$，则$f^{\prime }(x)=h^{\prime }[g(x)]\cdot g^{\prime }(x)$

例如：求函数$f(x)=x^4+sin(x^2)-ln(x)e^x+7$在$x=3$处的导数。

$f^{\prime }(x)=4x^{4-1}+cos(x^2)\cdot 2x-(\frac{e^x}{x}+ln(x)e^x)+0$

           $=4x^3+2xcos(x^2)-\frac{e^x}{x}-ln(x)e^x$

$f^{\prime }(3)=108+6cos(9)-\frac{e^3}{3}-ln(3)e^3$

1.1.1.4 利用导数求极限

导数等于零的点称为函数的驻点，（或极值可疑点），在这类点上函数可能会取得极大值或极小值。进一步判断则需要导数在附近的符号。

例如，$f(x)=x^3$在$x=0$处的导数为0，但并不会取得极大值或者极小值。

1.1.1.5 二阶导数

1. 二阶导数的概念
   在微积分中，函数的二阶导数是函数导数的导数。粗略来说，某个量的二阶导数描述该量变化率变化的快慢。例如物体位置对时间的二阶导数是物体的瞬时加速度，即该物体速度随时间的变化率：$a=\frac{dv}{dt}=\frac{d^{2}x}{d{t}^2}$。
   函数f的二阶导数通常记作$f^{\prime \prime }$、$\frac{d^{2}y}{d{x}^2}$或$\frac{d}{dx}(\frac{dy}{dx})$。
2. 二阶导数与函数凹凸的关系
   函数的二阶导数描述了函数图像的凹凸方向和程度。若二阶导数在某区间恒为正，则函数在该区间向上弯（也称下凸函数）($f(\frac{x_1+x_2}{2})\le \frac{f(x_1)+f(x_2)}{2}$)。反之，若二阶导数在某区间恒为负，则函数在该区间向下弯（也称上凸函数）($f(\frac{x_1+x_2}{2})\ge \frac{f(x_1)+f(x_2)}{2}$)。
   
   若函数的二阶导数在某点左右异号，则图像由向上弯转为向下弯，或反之。这种点称之为拐点。若二阶导数连续，则在该点处二阶导数为0。但反之二阶导数为0的点不一定是拐点。如$f(x)=x^4$，在$x=0$处有$f^{\prime \prime }(0)=0$，但$f(x)$在实数系上无拐点。
   
   二阶导数与凹凸性的关系有助于判断函数的驻点是否为极大值点或极小值点：

• 若$f^{\prime }(x)=0$，$f^{\prime \prime }(x)<0$，则f在x取得极大值。
• 若$f^{\prime }(x)=0$，$f^{\prime \prime }(x)>0$，则f在x取得极小值。
• 若$f^{\prime }(x)=0$，$f^{\prime \prime }(x)=0$，则该点可能是拐点，也可能是极大值点或极小值点。

代码验证

输入 jupyter-notebook

import numpy as np
import matplotlib.pyplot as plt
x = np.arange(0,6,0.1)
y = np.sin(x)
print(x)
print(y)
# 画出函数图像
plt.plot(x,y)
plt.xlabel("x")
plt.ylabel("y")
plt.title("y=sin(x)")
plt.show()
# 导函数y'=cosx
y1 = np.cos(x)
print(y1)
# 画出导函数图像
plt.plot(x,y1)
plt.xlabel("x")
plt.ylabel("y")
plt.title("y=cos(x)")
plt.show()
# 将函数和导数图像放在一张图中
plt.plot(x,y,label="y=sin(x)")
plt.plot(x,y1,label="y'=cos(x)",linestyle="--")
plt.xlabel("x")
plt.ylabel("y")
plt.title("y=cos(x)")
plt.legend()
plt.show()

1.1.2 偏导与梯度

1.1.2.1 偏导数

如果函数f的自变量并非单个元素，而是多个元素，例如：
$$f(x,y)=x^2+xy+y^2$$

可将其中一个元素$x$看作常数，此时$f$可看作关于另一元素$y$的函数。
$$f_x(y)=x^2+xy+y^2$$
在$x=a$固定的情况下，可计算$f_x$关于$y$的导数：
$$f_{x=a}^{\prime }(y)=a+2y$$
这种导数称为偏导数，一般记作：
$$\frac{\partial f}{\partial y}(x,y)=x+2y$$
更一般地来说，一个多元函数$f(x_1,x_2,\dots ,x_n)$在点$(a_1,a_2,\dots ,a_n)$处对$x_i$的偏导数定义为：
$$\frac{\partial f}{\partial x_i}(a_1,a_2,\dots ,a_n)=\underset{∆x_i\to 0}{\lim }\frac{f(a_1,\dots a_i+∆x_i,\dots ,a_n)-f(a_1,\dots a_i,\dots ,a_n)}{∆x_i}$$

1.1.2.2 方向导数

偏导数可以看作是多元函数$f$沿某个自变量轴方向的变化率。
如果我们任意选取一个方向$l$，那么在某个点$x_0,y_0$处，二元函数$f(x,y)$ 沿着这个方向的变化率可以用极限定义为：
$$\frac{\partial f}{\partial l}(x_0,y_0)=\underset{∆l\to 0}{\lim }\frac{f(x_0+∆x,y_0+∆y)-f(x_0,y_0)}{∆l}$$
这里，$∆l$ 就是沿方向$l$的微小改变量，$∆x$ 和 $∆y$ 与 $∆l$ 的关系为：
$$∆x=∆l\cdot cos\alpha ，∆y=∆l\cdot cos\beta$$

根据全微分公式，上式可以表示为：
$$\frac{\partial f}{\partial l}(x_0,y_0)=f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)cos\beta$$
其中$f_x(x_0,y_0)、f_y(x_0,y_0)$ 表示点$x_0,y_0$处$f$对$x、y$的偏导数；cosα、cosβ是方向$l$的方向余弦，即l方向的单位方向向量可以表示为$l_0=(cos\alpha ,cos\beta )$。
这个“沿某个方向的变化率”，就被称为$f(x,y)$ 沿方向l的方向导数。

1.1.2.3 梯度

多元函数$f(x_1,\dots ,x_n)$关于每个变量xi都有偏导数$\frac{\partial f}{\partial x_i}$，在点$a=a_1,a_2,\dots ,a_n$ 处，这些偏导数定义出一个向量：
$$\nabla f(a)=[\frac{\partial f}{\partial x_1}(a),\frac{\partial f}{\partial x_2}(a),\dots ,\frac{\partial f}{\partial x_n(a)}]$$
这个向量称为$f$在点$a$的梯度，记作 $\nabla fa$ 或者 grad $f(a)$。
例如：$f(x,y)=x^2+xy+y^2$在(1,1)处的梯度为[3,3]。

梯度向量表示的方向，就是函数在这一点处，方向导数取最大值的方向。换句话说，梯度的方向，就是函数值变化最快的方向。

1.2 线性代数

1.2.1 标量与向量

1.2.1.1 标量与向量的概念

标量：标量是一个单独的数，只有大小。
向量：向量由标量组成，有大小有方向。

行向量：$\left(\begin{array}{ccc}2& 5& 8\end{array}\right)$

列向量：$\left(\begin{array}{c}2\\ 5\\ 8\end{array}\right)$

1.2.1.2 向量运算

1. 向量转置：列向量转置结果为行向量
   $$x=\left(\begin{array}{c}2\\ 5\\ 8\end{array}\right)$$
   $$x^T=\left(\begin{array}{ccc}2& 5& 8\end{array}\right)$$
2. 向量相加：对应元素相加
   $$\left(\begin{array}{c}2\\ 5\\ 8\end{array}\right)+\left(\begin{array}{c}1\\ 3\\ 7\end{array}\right)=\left(\begin{array}{c}3\\ 8\\ 15\end{array}\right)$$
3. 向量与标量相乘：标量与向量每个元素相乘
   $$3\times \left(\begin{array}{c}2\\ 5\\ 8\end{array}\right)=\left(\begin{array}{c}6\\ 15\\ 24\end{array}\right)$$
4. 向量内积：又称向量点乘，两向量对应元素乘积之和，结果为标量
   $$<x,y>=<\left(\begin{array}{c}2\\ 5\\ 8\end{array}\right),\left(\begin{array}{c}1\\ 3\\ 7\end{array}\right)>=2+15+56=73$$
   两向量之间夹角表示为
   $$cos\theta =\frac{<x,y>}{\sqrt{(x,x)}\sqrt{(y,y)}}$$

1.2.1.3 向量范数

范数（norm）是具有“长度”概念的函数。
具有非负性、齐次性、三角不等式

1. $L_0$范数（也称0范数）
   $$||x|{|}_0=非零元素的个数$$
   例如：
   $$x=\left(\begin{array}{c}0\\ 2\\ -1\end{array}\right)，||x|{|}_0=2$$
2. $L_1$范数（也称和范数或1范数） 曼哈顿距离
   $$||x|{|}_1=\sum _{i=1}^m|x_i|=|x_1|+\dots +|x_m|$$
   例如：
   $$x=\left(\begin{array}{c}0\\ 2\\ -1\end{array}\right),||x|{|}_1=0+2+1=3$$
3. $L_2$范数（也称欧几里得范数或2范数） 欧几里得距离
   $$||x|{|}_2=(\sum _{i=1}^m|x_i{|}^2{)}^{\frac{1}{2}}=\sqrt{(|x_1{|}^2+\dots +|x_m{|}^2)}$$
   例如：
   $$x=\left(\begin{array}{c}0\\ 2\\ -1\end{array}\right),||x|{|}_2=\sqrt{0+4+1}=\sqrt{5}$$
4. $L_p$范数
   $$||x|{|}_p=(\sum _{i=1}^m|x_i{|}^p{)}^{\frac{1}{p}}=(|x_1{|}^p+\dots +|x_m{|}^p{)}^{\frac{1}{p}}$$
   在numpy中，可以利用linalg.norm 函数方便地计算向量的范数。

1.2.2 矩阵与张量

1.2.2.1 矩阵的概念

一个m×n的矩阵（matrix）是一个有m行n列元素的矩形阵列。用$R^{m\times n}$表示所有m×n实数矩阵的向量空间。
$$\left[\begin{array}{cc}1& 2\\ 3& 5\\ 4& 8\end{array}\right]\in R^{3\times 2}$$

1. 方阵：行数等于列数的矩阵
   $$\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]\in R^{2\times 2}$$
2. 对角矩阵：主对角线以外元素全为0的方阵
   $$\left[\begin{array}{ccc}1& 0& 0\\ 0& 5& 0\\ 0& 0& 9\end{array}\right]$$
3. 单位矩阵：主对角线元素全为1的对角矩阵
   $$I_{3\times 3}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

1.2.2.2 矩阵乘法

1. 矩阵乘法运算
   两个矩阵的乘法仅当矩阵A的列数和矩阵B的行数相等时才能定义。如$A\in R^{m\times n}$，$B\in R^{n\times p}$，它们的乘积$AB\in R^{m\times p}$
   $$[AB{]}_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\dots +a_{in}{b}_{nj}=\sum _{r=1}^n{a}_{ik}{b}_{kj}$$
   例如：
   $$\left[\begin{array}{ccc}1& 0& 2\\ -1& 3& 1\end{array}\right]\times \left[\begin{array}{cc}3& 1\\ 2& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}1\times 3+0\times 2+2\times 1& 1\times 1+0\times 1+2\times 0\\ (-1)\times 3+3\times 2+1\times 1& (-1)\times 1+3\times 1+1\times 0\end{array}\right]=\left[\begin{array}{cc}5& 1\\ 4& 2\end{array}\right]$$
   特别地，矩阵与单位矩阵相乘等于矩阵本身：
   $$AI=A(A\in R^{m\times n},I\in R^{n\times n})或IA=A(I\in R^{n\times n},A\in R^{n\times m})$$
   例如：
   $$AI=\left[\begin{array}{cc}1& 2\\ 3& 5\\ 4& 8\end{array}\right]\times \left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}1\times 1+2\times 0& 1\times 0+2\times 1\\ 3\times 1+5\times 0& 3\times 0+5\times 1\\ 4\times 1+8\times 0& 4\times 0+8\times 1\end{array}\right]=\left[\begin{array}{cc}1& 2\\ 3& 5\\ 4& 8\end{array}\right]=A$$
2. 矩阵乘法的性质
   矩阵乘法满足结合律、左分配律和右分配律。不满足交换律即AB≠BA。
   结合律：若$A\in R^{m\times n}$,$B\in R^{n\times p}$,$C\in R^{p\times q}$，则(AB)C=A(BC)
   左分配律：若$A\in R^{m\times n}$,$B\in R^{m\times n}$,$C\in R^{n\times p}$，则(A+B)C=AC+BC
   右分配律：若$A\in R^{m\times n}$,$B\in R^{n\times p}$,$C\in R^{n\times p}$，则A(B+C)=AB+AC

1.2.2.3 矩阵转置

1. 矩阵转置运算
   矩阵$A\in R^{m\times n}$的转置是一个n×m的矩阵，记为$A^T$。其中的第$i$个行向量是原矩阵的第$i$个列向量；或者说，转置矩阵$A^T$第$i$行第$j$列的元素是原矩阵A第$j$行第$i$列的元素。
   $$[A^T{]}_{ij}=a_{ji}$$
   $$A=\left[\begin{array}{cc}1& 2\\ 3& 5\\ 4& 8\end{array}\right]\in R^{3\times 2}$$
   $$A^T=\left[\begin{array}{ccc}1& 3& 4\\ 2& 5& 8\end{array}\right]\in R^{2\times 3}$$
2. 矩阵转置的性质
   $(A^T{)}^T=A$
   $(A+B{)}^T=A^T+B^T$
   $(kA{)}^T=k{A}^T$
   $(AB{)}^T=B^T{A}^T$

1.2.2.4 矩阵的逆

对于方阵A，如果存在另一个方阵$A^{-1}$，使得$A{A}^{-1}=I$成立，此时$A^{-1}A=I$也同样成立。称$A^{-1}$为A的逆矩阵。例如：
$$A{A}^{-1}=\left[\begin{array}{cc}1& 2\\ 3& 5\end{array}\right]\times \left[\begin{array}{cc}-5& 2\\ 3& -1\end{array}\right]=\left[\begin{array}{cc}1\times (-5)+2\times 3& 1\times 2+2\times (-1)\\ 3\times (-5)+3\times 5& 3\times 2+5\times (-1)\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]=I$$

1.2.2.5 其他矩阵运算

1. 矩阵的向量化
   矩阵$A\in R^{m\times n}$的向量化vec(A)将矩阵A的元素按列排列成一个mn×1的向量。
   $$vec(A)=[a_{11},\dots a_{m1},\dots a_{1n},\dots a_{mn}{]}^T$$
   矩阵也可以转化为行向量rvec(A)，称为矩阵的行向量化。
   $$rvec(A)=[a_{11},\dots a_{1n},\dots a_{m1},\dots a_{mn}]$$
   例如：$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$,$vec(A)=\left(\begin{array}{c}1\\ 3\\ 2\\ 4\end{array}\right)$, $rvecA=\left(\begin{array}{cccc}1& 2& 3& 4\end{array}\right)$。
2. 矩阵的内积
   矩阵$A\in R^{m\times n}$和矩阵$B\in R^{m\times n}$的内积记作<A,B>，它是两个矩阵对应元素乘积之和，是一个标量。
   $$<A,B>=<vec(A),vec(B)>=\sum a_{i,j}{b}_{i,j}$$
3. 矩阵的Hadamard积
   矩阵$A\in R^{m\times n}$和矩阵$B\in R^{m\times n}$的Hadamard积记作A⨀B，它是两个矩阵对应元素的乘积，是一个m×n的矩阵。
   $$(A⨀B{)}_{ij}=a_{ij}{b}_{ij}$$
4. 矩阵的Kronecker积
   矩阵$A\in R^{m\times n}$和矩阵$B\in R^{p\times q}$的Kronecker积记作A⨂B，它是矩阵A中每个元素与矩阵B的乘积，是一个mp×nq的矩阵。
   $$(A⨂B{)}_{ij}=\left[\begin{array}{cccc}{a}_B& a_{2}B& \cdots & a_{n}B\end{array}\right]={\left[\begin{array}{c}{a}_{ij}B\end{array}\right]}_{i=1,j=1}^{mn}=\left[\begin{array}{cccc}{a}_{11}B& a_{12}B& \cdots & a_{1n}B\\ a_{21}B& a_{22}B& \cdots & a_{2n}B\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}B& a_{m2}B& \cdots & a_{mn}B\end{array}\right]$$
   Kronecker积也称为直积或张量积。

运算类型	数学符号	python实现	核心规则
哈达玛积	⨀	* / np.multiply()	逐元素相乘
矩阵乘法	无	@ / .dot()	行 × 列求和，维度匹配：A 列 = B 行
向量内积	$⟨v_1,v_2⟩$	np.sum(A * B) / np.dot(A.flatten(),B.flatten())	对应元素相乘求和（标量）
克罗内克积	⨂	np.kron()	元素 × 矩阵整体，维度倍增

1.2.2.6 张量

张量（tensor）可视为多维数组，是标量，1维向量和2维矩阵的n维推广。
例如：3维张量
$$\left[\begin{array}{ccc}\left[\begin{array}{cc}1& 2\\ 3& 5\\ 4& 8\end{array}\right]& \left[\begin{array}{cc}3& 2\\ 1& 6\\ 7& 3\end{array}\right]& \left[\begin{array}{cc}5& 6\\ 9& 1\\ 2& 4\end{array}\right]\end{array}\right]$$

1.2.3 矩阵求导

矩阵求导的本质就是函数对变元的每个元素逐个求导，只是写成了向量、矩阵的形式。
为方便理解，这里对变元（自变量）和函数作统一的符号规定：
x为标量变元。
X=[x${}_1$,x${}_2$,…,x${}_m$]${}^T\in R^{m\times n}$为实矩阵变元。
x$=[x_1,x_2,\dots ,x_m{]}^T\in R^m$为实向量变元。
f(x)∈R为实标量函数，其变元x为实向量。
f(X)∈R为实标量函数，其变元X为实矩阵。
f(x) ∈R${}^p$为实向量函数，其变元x为实向量。
f(X) ∈R${}^p$为实向量函数，其变元X为实矩阵。
当然，函数也可以是矩阵形式F，可以看作是向量函数的扩展。

1.2.3.1 典型计算场景

1. 标量$f(x)$对向量x求导
   数学上，一般定义向量为列向量形式。由于$x=[x_1,x_2,\dots ,x_m{]}^T$，所以
   $$f(x)=f(x_1,x_2,\dots ,x_m)$$
   它对向量变元$x$ 求导，本质就是对 $x$的每个元素求偏导：
   $$\frac{\partial f(x)}{\partial x}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots ,\frac{\partial f}{\partial x_m}{]}^T$$
   例如：
   函数$f(x_1,x_2)=x_1^2+x_1{x}_2+2x_2^2$，令$x=[x_1,x_2{]}^T$，则
   $$\frac{\partial f(x)}{\partial x}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2}{]}^T=[2x_1+x_2,x_1+4x_2{]}^T=\left[\begin{array}{c}2x_1+x_2\\ x_1+4x_2\end{array}\right]$$

2. 标量$f(x)$对矩阵X求导
   变元 X 是一个m×n的矩阵，可以看成是m个行向量的组合，每个向量维度为n。
   $$X=[x_1,x_2,\dots ,x_m{]}^T={\left[\begin{array}{cccc}{x}_{11}& x_{21}& \dots & x_{m1}\\ x_{12}& x_{22}& \dots & x_{m2}\\ ⋮& ⋮& \ddots & ⋮\\ x_{1n}& x_{2n}& \dots & x_{mn}\end{array}\right]}^T=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right]\in R^{m\times n}$$
   那么f对X求导，同样也是对其中的每个元素求导，结果形状与X相同：
   $$\frac{\partial f(X)}{\partial X}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots ,\frac{\partial f}{\partial x_m}{]}^T={\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{21}}& \dots & \frac{\partial f}{\partial x_{m1}}\\ \frac{\partial f}{\partial x_{12}}& \frac{\partial f}{\partial x_{22}}& \dots & \frac{\partial f}{\partial x_{m2}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial x_{1n}}& \frac{\partial f}{\partial x_{2n}}& \dots & \frac{\partial f}{\partial x_{mn}}\end{array}\right]}^T=\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}& \dots & \frac{\partial f}{\partial x_{1n}}\\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}& \dots & \frac{\partial f}{\partial x_{2n}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial x_{m1}}& \frac{\partial f}{\partial x_{m2}}& \dots & \frac{\partial f}{\partial x_{mn}}\end{array}\right]$$

3. 向量$f(x)$对标量$x$求导
   对于向量函数$f$，可以写为：
   $$f(x)=[f_1(x),f_2(x),\dots ,f_p(x){]}^T$$
   显然，此时的$f$可以看作多个函数的组合，对$x$求导时，只要让其中的每个元素分别对$x$求导即可：
   $$\frac{\partial f(x)}{\partial x}=[\frac{\partial f_1}{\partial x},\frac{\partial f_2}{\partial x},\dots ,\frac{\partial f_p}{\partial x}{]}^T$$
   例如：
   函数$f(x)=[f_1(x),f_2(x){]}^T=\left[\begin{array}{c}2x^2+3x+1\\ sinx\end{array}\right]$，则
   $$\frac{\partial f(x)}{\partial x}=[\frac{\partial f_1}{\partial x},\frac{\partial f_2}{\partial x}{]}^T=[4x+3,cosx{]}^T=\left[\begin{array}{c}4x+3\\ cosx\end{array}\right]$$

4. 向量$f(x)$对向量x求导（了解）
   类似3中的分析，向量函数$f$可以写为：
   $$f(x)=[f_1(x),f_2(x),\dots ,f_p(x){]}^T$$
   这里$f$的每一个元素，都是变元$x$为向量的实标量函数。
   接下来只要应用1中的结论，将$f$中的每个标量函数对$x$求导即可：
   $$\frac{\partial f(x)}{\partial x}=[\frac{\partial f_1}{\partial x},\frac{\partial f_2}{\partial x},\dots ,\frac{\partial f_p}{\partial x}{]}^T={\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_2}{\partial x_1}& \dots & \frac{\partial f_p}{\partial x_1}\\ \frac{\partial f_1}{\partial x_2}& \frac{\partial f_2}{\partial x_2}& \dots & \frac{\partial f_p}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_1}{\partial x_m}& \frac{\partial f_2}{\partial x_m}& \dots & \frac{\partial f_p}{\partial x_m}\end{array}\right]}^T\in R^{p\times m}$$

1.2.3.2 常用求导结果

$\frac{\partial x^{T}a}{\partial x}=\frac{\partial a^{T}x}{\partial x}=a$

$\frac{\partial x^{T}x}{\partial x}=2x$

$\frac{\partial Ax}{\partial x}=A^T$

$\frac{\partial x^{T}A}{\partial x}=A$

$\frac{\partial x^{T}Ax}{\partial x}=(A^T+A)x$

$\frac{\partial a^{T}Xb}{\partial X}=a{b}^T$

$\frac{\partial a^T{X}^{T}b}{\partial X}=\frac{\partial (a^T{X}^{T}b{)}^T}{\partial X}=\frac{\partial b^{T}Xa}{\partial X}=b{a}^T$

$\frac{\partial a^{T}X{X}^{T}b}{\partial X}=a{b}^{T}X+b{a}^{T}X$

$\frac{\partial a^T{X}^{T}Xb}{\partial X}=Xb{a}^T+Xa{b}^T$

1.2.3.3 梯度矩阵

对于实向量变元 $x$，实标量函数$f(x)$的梯度向量，为m×1的列向量（与 $x$ 形状相同）：
$${\nabla }_{x}f(x)=\frac{\partial f(x)}{\partial x}=[\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\dots ,\frac{\partial f(x\partial )}{x_m}{]}^T$$
对于矩阵变元 X（m×n），可以类似地得到 $f(X)$ 的梯度矩阵：
$${\nabla }_{X}f(X)=\frac{\partial f(X)}{\partial X}=\left[\begin{array}{ccc}\frac{\partial f(X)}{\partial x_{11}}& \cdots & \frac{\partial f(X)}{\partial x_{1n}}\\ ⋮& \ddots & ⋮\\ \frac{\partial f(X)}{\partial x_{m1}}& \cdots & \frac{\partial f(X)}{\partial x_{mn}}\end{array}\right]\in R^{m\times n}$$
类似地，$f(x)$ 的二阶偏导构成的矩阵被称为“黑塞矩阵”（Hessian Matrix）：
$$H(x)=[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}{]}_{n\times n}$$

1.3 概率统计

1.3.1 概率

1.3.1.1 概率的概念

概率是对事件发生的可能性的度量。通常将事件A的概率写作P(A)。

1.3.1.2 概率的计算

事件	概率
A	P(A)∈[0,1]
非A	$P(\bar{A})=1-P(A)$
A和B（联合概率）	P(A∩B)=P(A|B)P(B)=P(B|A)P(A)；当A、B相互独立时：P(A∩B)=P(A)P(B)
A或B	P(A∪B)=P(A)+P(B)−P(A∩B)；当A、B互斥时：P(A∪B)=P(A)+P(B)
B的情况下A的概率（条件概率）	$P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(B|A)P(A)}{P(B)}$

例如：现有一个装有10个球的袋子，其中有6个红球和4个蓝球。从中随机抽取两个球。我们定义以下事件：
事件A：第一个抽到的是红球。
事件B：两个抽到的球都是红球。

1. 计算联合概率P(A∩B)
   第一个球是红球的概率：
   $$P(A)=\frac{6}{10}$$
   在第一个球是红球的情况下，两个球都是红球的概率：
   $$P(B|A)=\frac{5}{9}$$
   联合概率：
   $$P(A\cap B)=P(B|A)P(A)=\frac{5}{9}\times \frac{6}{10}=\frac{1}{3}$$
2. 计算条件概率P(A|B)
   条件概率P(A|B)表示在已知两个球都是红球的情况下，第一个球是红球的概率。
   两个球都是红球的概率：
   $$P(B)=\frac{C_6^2}{C_{10}^2}=\frac{6\times 5÷2}{10\times 9÷2}=\frac{1}{3}$$
   在两个球都是红球的情况下，第一个球是红球的概率：
   $$P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{\frac{1}{3}}{\frac{1}{3}}=1$$

1.3.2 概率分布

概率分布，是指用于表述随机变量取值的概率规律。事件的概率表示了一次试验中某一个结果发生的可能性大小。如果试验结果用变量X的取值来表示，则随机试验的概率分布就是随机变量的概率分布，即随机变量的可能取值及取得对应值的概率。

1.3.2.1 均匀分布

均匀分布也叫矩形分布，它表示在相同长度间隔的分布概率是等可能的。 均匀分布由两个参数a和b定义，它们是数轴上的最小值和最大值，通常缩写为U（a，b）。

均匀分布的概率密度函数可写为：
$$P(x)=\frac{1}{b-a}，a<x<b$$
$$P(x)=0,else$$

1.3.2.2 正态分布

正态分布（Normal Distribution）也称高斯分布，是常见的连续概率分布。正态分布在统计学上十分重要，经常用在自然和社会科学来代表一个不明的随机变量。

若随机变量X服从一个平均数为μ、标准差为$\sigma （\sigma =\sqrt{\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2）}$的正态分布，则记为X~N(μ,${\sigma }^2$)，其概率密度函数
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
正态分布的期望μ可解释为位置参数，决定了分布的位置；其方差${\sigma }^2$可解释为尺度参数，决定了分布的幅度。
正态分布概率密度函数图：

正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线。我们通常所说的标准正态分布是位置参数μ=0，尺度参数${\sigma }^2=1$的正态分布。
中心极限定理指出，在特定条件下，一个具有有限均值和方差的随机变量的多个样本的平均值本身就是一个随机变量，其分布随着样本数量的增加而收敛于正态分布。因此，许多与独立过程总和有关的物理量，例如测量误差，通常可被近似为正态分布。
在numpy中，提供了各种随机函数，可以用来生成服从特定分布的数据。

1.3.3 贝叶斯定理

贝叶斯定理（Bayes’ Theorem）是概率论中的一个核心定理，用于描述在已有条件概率信息的基础上，如何更新或计算事件的概率。它以英国数学家托马斯·贝叶斯的名字命名。贝叶斯定理特别适合处理“逆向概率”问题，即从结果反推原因的概率。

1.3.3.1 全概率公式

对于复杂事件B，它可能有很多种具体情况，发生概率不容易直接求得。
这些不同的具体情况可以是一组简单事件，记作$A_1、A_2、\dots 、A_n$，发生的概率$P(A_i)$已知；如果它们满足两两互不相容、且发生概率之和为1，就称它们是一个完备事件组。
这样，如果知道了在每个简单事件发生的前提下、复杂事件发生的概率（条件概率 $P(B|A_i)$ ），就可以将它们全部合并起来，求出复杂事件的概率了。
$P(B)=P(B|A_1)\cdot P(A_1)+P(B|A_2)\cdot P(A_2)+\dots +P(B|A_n)\cdot P(A_n)$
           $={\sum }_i^n(P|B(A_i)\cdot P(A_i)$
这个公式就被称为“全概率公式”。

1.3.3.2 贝叶斯公式

贝叶斯定理建立在条件概率的基础上，假设有两事件A,B，贝叶斯定理描述了在已知B发生的情况下，A发生的概率：
$$P(A|B)=\frac{P(B|A)\bullet P(A)}{P(B)}$$

• P(A|B)：后验概率，B发生的情况下A发生的概率。
• P(B|A)：似然概率，A发生的情况下B发生的概率。
• P(A)：先验概率，A发生的概率。
• P(B)：B发生的概率，通常通过全概率公式计算。
  在实际问题中P(B)通常不是直接给出，而是需要通过全概率公式计算。假设样本空间被一组互斥且完备的事件$A_1,A_2,\dots ,A_n$划分，则：
  $$P(B)=\sum _{i=1}^{n}P(B|A_i)\bullet P(A_i)$$
  例如：某疾病发病率为1%，如果一个人有疾病，检测呈阳性的概率为95%；如果一个人没有疾病，检测呈阳性的概率为5%，现有一人检测结果呈阳性，问他真正患病的概率是多少？
  $$P(疾病|阳性)=\frac{P(阳性|疾病)\bullet P(疾病)}{P(阳性)}$$
  P(阳性)=P(阳性 | 疾病)∙P(疾病)+P(阳性 | 无疾病)∙P(无疾病)
              =0.95×0.01+0.05×0.99
              =0.0095+0.0495
              =0.059
  P(疾病 | 阳性)=$\frac{0.0095}{0.059}$≈0.161
  检测呈阳性的人真正患病的概率为16.1%。

1.3.4 似然函数

1.3.4.1 似然函数的概念

概率用于在已知一些参数的情况下，预测接下来在观测上所得到的结果。而似然性则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值。
似然函数是对参数的函数，其定义为在给定参数值的条件下，观察到某个特定数据的概率。换句话说，似然函数是一个关于参数的函数，而不是关于数据的函数。
如果我们有一个参数化的概率模型P(X | θ)，其中X是观测数据，θ是模型参数，似然函数L(θ | X)定义为：
$$L(\theta |X)=P(X|\theta )$$
这里，P(X | θ) 表示在参数为θ的情况下，观察到数据X的概率。
设有一组独立同分布的观测数据$X=(x_1,x_2,\dots ,x_n)$，并且这些数据服从某个分布（例如正态分布、二项分布等），比如服从参数为θ的某个分布，那么似然函数可以写作：
$$L(\theta |X)=P(X|\theta )=\prod _{i=1}^{n}P(x_i|\theta )$$
针对其中存在的乘法，可以使对数函数将其转化为加法：
$$logL(\theta |X)=log\prod _{i=1}^{n}P(x_i|\theta )=\sum _{i=1}^{n}logP(x_i|\theta )$$

1.3.4.2 极大似然估计

似然函数常用于极大似然估计。我们希望找到使似然函数最大化的参数θ。这意味着在给定观测数据的情况下，选择最可能生成这些数据的参数值。
例如，掷硬币3次，2次正面1次背面，能否依据此结果逆推出正面的概率；正面概率为0.5的概率为多少、正面概率为0.6的概率为多少；最有可能的正面概率是多少？
我们用θ代表硬币正面朝上的概率，用X代表2次正面1次背面的结果
$$L(\theta |X)=P(X|\theta )=C_3^2{\theta }^2(1-\theta )$$
当正面概率为0.5时：$P(X|\theta =0.5)=C_3^{2}0.5^2(1-0.5)=0.375$
当正面概率为0.6时：$P(X|\theta =0.6)=C_3^{2}0.6^2(1-0.6)=0.432$
为了找出极大似然估计，对似然函数取对数并求导(看作以e为底计算)，使其等于0
$$logL(\theta |X)=log{C}_3^2\bullet {\theta }^2(1-\theta )=log3+2log\theta +log(1-\theta )$$
$$\frac{dlogL(\theta |X)}{d\theta }=\frac{2}{\theta }-\frac{1}{1-\theta }=0$$
解得θ=$\frac{2}{3}$，意味着当掷硬币3次，出现2次正面1次背面的结果时，硬币正面朝上的概率最有可能为$\frac{2}{3}$。

第二章 机器学习概述

机器学习主要研究计算机系统对于特定任务的性能，逐步进行改善的算法和统计模型。

2.1 人工智能、机器学习与深度学习

2.2 发展历史

2.3 机器学习应用领域

2.4 基本术语

• 数据集（Data Set）：多条记录的集合。
  • 训练集（Training Set）：用于训练模型的数据。
  • 验证集（Validation Set）：用于调节超参数的数据。
  • 测试集（Test Set）：用于评估模型性能的数据。
• 样本（Sample）：数据集中的一条记录是关于一个事件或对象的描述，称为一个样本。
• 特征（Feature）：数据集中一列反映事件或对象在某方面的表现或性质的事项，称为特征或属性。
• 特征向量（Feature Vector）：将样本的所有特征表示为向量的形式，输入到模型中。
• 标签（Label）：监督学习中每个样本的结果信息，也称作目标值（target）。
• 模型（Model）：一个机器学习算法与训练后的参数集合，用于进行预测或分类。
• 参数（Parameter）：模型通过训练学习到的值，例如线性回归中的权重和偏置。
• 超参数（Hyper Parameter）：由用户设置的参数，不能通过训练自动学习，例如学习率、正则化系数等。