整流线性单元(ReLU)，全称Rectified linear unit，是现代神经网络中最常用的激活函数，大多数前馈神经网络都默认使用该激活函数。

双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。

Sigmoid函数，又称logistic函数，是最早使用的激活函数之一。但是由于其固有存在的一些缺点，如今很少将其作为激活函数，但是依然常用于二分类问题中的概率划分。

随机修正整流线性单元(RReLU)，全称Randomized ReLU，是ReLU的延伸版，也是为了解决dead relu神经元坏死现象而提出的一种激活函数。

在调用ffmpeg包的时候发现这个乱码的报错：ffmpeg’ �����ڲ����ⲿ���Ҳ���ǿ����еij������������ļ���

接口和类之间是实现关系，通过implements关键字表示。

指数线性单元(ELU)，全称Exponential Linear Units，使用了指数作为激活函数的一部分。

Sigmoid函数，又称logistic函数，是最早使用的激活函数之一。但是由于其固有存在的一些缺点，如今很少将其作为激活函数，但是依然常用于二分类问题中的概率划分。

随机修正整流线性单元(RReLU)，全称Randomized ReLU，是ReLU的延伸版，也是为了解决dead relu神经元坏死现象而提出的一种激活函数。

文章目录文献参考基本概念支持向量支持向量机(SVM)最大间隔超平面软间隔与硬间隔SVM最优化问题求解思路支持向量机数学原理第一步：建立支持向量方程第二步：求出最大间隔LLL表达式第三步：求LLL约束条件，得出优化问题第四步：解出优化问题解的前四个条件第五步：得出优化问题解的第五个条件第六步：转化成SVM对偶问题第七步：优化方程第八步：得出算法步骤标题升维转换与核技巧软间隔文献参考·百度知道：桂纶美