机器学习笔记02数学概念

函数

函数概念：输入到输出的变化。（一个输入只会有一个确定的输出）

机器学习常用函数

1. 线性函数： 线性函数是只拥有⼀个变量的⼀阶多项式函数，函数图像是⼀条直线。：

2. ⼆次函数和多次函数

3. 激活函数 实现⾮线性的、阶跃性质的变换

4. 对数函数

梯度

什么是梯度

多元函数的各参数求偏导数，然后把所求得的各个参数的偏导数以向量的形式写出来，就是梯度。具体来说，两个⾃变量的函数f（x，x），对应着机器学习数据集中的两个特征，如果分别

对x，x求偏导数，那么求得的梯度向量就是（∂f/∂x，∂f/∂x）T，在数学上可以表示成
Δf（x，x）。
梯度向量的⽅向也就是y值增加最快的⽅向。也就是说，沿着梯度向量的⽅向Δf（x），能找到函数的最⼤值。反过来说，沿着梯度向量相反的⽅向，也就是 -Δf（x）的⽅向，梯度减少最快，能找到函数的最⼩值。如果某⼀个点的梯度向量的值为0，那么也就是来到了导数为0的函数最低点（或局部最低点）了。

为什么要求梯度？

梯度下降：
机器学习的本质是找到最优的函数。
如何衡量函数是否最优？其⽅法是尽量减⼩预测值和真值间的误差（在机器学习中也叫损失值）。
可以建⽴误差和模型参数之间的函数（最好是凸函数）。
梯度下降能够引导我们⾛到凸函数的全局最低点，也就是找到误差最⼩时的参数。

张量

在机器学习中，把⽤于存储数据的结构叫作张量。张量是机器学习程序中的数字容器，本质上就是各种不同维度的数组
我们把张量的维度称为轴（axis）（就是数学中的x轴，y轴，……），轴的个数称为阶（rank）（也就是俗称的维度）

张量的形状（shape）就是张量的阶，加上每个阶的维度（每个阶的元素数⽬）。

标量——0D（阶）张量

X	=	np.array(5)	#创建0D张量,	也就是标量

向量——1D（阶）张量
由⼀组数字组成的数组叫作向量（vector），也就是⼀阶张量，或称1D张量。⼀阶张量只有⼀个轴。

X	=	np.array([5,	6,	7,	8,	9])	#创建1D张量,	也就是向量

机器学习中把5个元素的向量称为5维向量。千万不要把5维向量和5阶张量混淆。

矩阵——2D（阶）张量
矩阵是2D张量，形状为（样本，特征）。第⼀个轴是样本轴，第⼆个轴是特征轴。

序列数据——3D（阶）张量
时间序列（time series）（简称时序）是最为常⻅的序列数据集

图像数据——4D（阶）张量

视频数据——5D（阶）张量
（样本，帧，⾼度，宽度，颜⾊深度）

张量在python中用numpy数组创建运算。