由线性回归的代价函数：若我们定义：则有：称为逻辑回归的单样本代价函数称为逻辑回归的代价函数，我们将代入代价函数，则有：该函数是个非凸函数，这会导致在梯度下降时没有全局最优解。于是我们必须另外选择一个代价函数。如：这个函数看起来很复杂，但画出图形如下：通过上面图形，我们知道：预测：如果,预测y=1，此时Cost=0。(正常预测)如果,预测y=1，此时Cost=0.8。(正常预测)如果,预测y=1，此

OpenCV中的深度学习模块（DNN）只提供了推理功能，不涉及模型的训练，支持多种深度学习框架，比如TensorFlow、Caffe、Torch和Darknet。

神经网络实际上是一个相对古老的算法，因为以前的算力不行，沉寂了一段时间，不过到了现在它又成为许多机器学习问题的首选技术。之前我们已经介绍过线性回归（可以实现复杂曲线模拟）和逻辑回归（可以实现多分类）算法了，似乎可以解决较复杂的问题，那为什么还要研究神经网络？这是因为：1、即便只有两个输入特征时，对于复杂的情况，我们可能需要如下的比较复杂的假设函数：然而对于许多复杂的机器学习问题而言，涉及的输入特征

OpenCV中的深度学习模块（DNN）只提供了推理功能，不涉及模型的训练，支持多种深度学习框架，比如TensorFlow、Caffe、Torch和Darknet。

读取数据——可视化数据集——损失函数——梯度——数据处理（X加偏置项，y降维）——一对多分类器——利用最优函数得到最优参数——预测。

比如对于多元线性回归，假设函数表示为其中为模型参数，为每个样本的个特征值。这个表示可以简化，我们增加一个特征，这样设向量假设样本个数为m，具体为。设输入特征向量，输出特征向量设矩阵，则有1、假设函数：或2、参数：或3、样本：样本数为m，具体为或输入特征向量，输出特征向量4、代价函数：12m(XθyT(Xθy由于样本不同特征的取值范围不一样，可能导致迭代很慢，为了减少特征取值的影响，可以对特征数据归

椭圆拟合法的基本思路是：对于给定平面上的一组样本点，寻找一个椭圆，使其尽可能接近这些样本点。也就是说，将图像中的一组数据以椭圆方程为模型进行拟合，使某一椭圆方程尽量满足这些数据，并求出该椭圆方程的各个参数。在OpenCV中，函数cv2.fitEllipse()可以用来构建最优拟合椭圆，还可以在返回值内分别返回椭圆的中心点，轴长，旋转角度信息。就椭圆拟合而言，就是先假设椭圆参数，得到每个待拟合点到该

OpenCV中的深度学习模块（DNN）只提供了推理功能，不涉及模型的训练，支持多种深度学习框架，比如TensorFlow、Caffe、Torch和Darknet。

可以把图像看成二维离散函数：图像梯度其实就是这个二维离散函数的求导：其中：其中，是图像像素的值(如：RGB值)，为像素的坐标。图像梯度一般也可以用中值差分：图像边缘一般都是通过对图像进行梯度运算来实现的。图像梯度的最重要性质是，梯度的方向在图像灰度最大变化率上，它恰好可以反映出图像边缘上的灰度变化。上面说的是简单的梯度定义，其实还有更多更复杂的梯度公式。

型元素已经可以表示1600万种可能的颜色（使用RGB颜色空间），但若使用float（4字节，32位）或double（8字节，64位）则能给出更加精细的颜色分辨能力。很多情况下，因为内存足够大，可实现连续存储，因此，图像中的各行就能一行一行地连接起来，形成一个长行。无论哪种方法，我们（人类）看到的是图像，而让数字设备来“看“的时候，则是在记录图像中的每一个点的数值。若以一个字节来给颜色编码，则其值在