核心思想粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，1995 年由Eberhart 博士和kennedy 博士提出是根据鸟类的捕食行为简化出的一种模型假设一只鸟在捕食时，会和种群中其他的鸟类共享信息，并且根据自己寻找到的最优位置以及群体中给出的最优位置来改变自己的速度（包括大小与方向），从而从无序寻找到最终变成有序飞行。其速度的改变遵循三条原则：

优化目标支持向量机也被称为大间距分类器，因为他会以最大间距分隔样本我们可以从优化目标来一步步认识支持向量机sigmoid函数：在逻辑回归中，一个样本的代价函数的形式为：根据y的值不同，我们分别画出不同的函数图像当y = 1 时，函数只剩下左边部分，可得到左图形式的函数图像，右边同理我们用近似的折线来代替这个函数（即一条水平线加一条斜线），先不用管这个斜线的斜率是多少我们将左图蓝色的函数记为cost

当我们的算法不太符合自己的预期时，我们都有哪些改进手段？去搜索更多的数据，增加训练集的数量增加特征的数量，更高程度地利用已有的数据尝试多项式特征减少特征的数量，减轻过拟合的问题增大或者减小λ方法有很多，但是我们不能所有都用，而是要针对给出的问题选择性的做其中的一个或者几个有时，我们的算法在训练集上有很好的表现，在实际使用时上却表现平平，这便很有可能是过拟合了为了改善这种情况，我们将一个数据集，分为

当我们的算法不太符合自己的预期时，我们都有哪些改进手段？去搜索更多的数据，增加训练集的数量增加特征的数量，更高程度地利用已有的数据尝试多项式特征减少特征的数量，减轻过拟合的问题增大或者减小λ方法有很多，但是我们不能所有都用，而是要针对给出的问题选择性的做其中的一个或者几个有时，我们的算法在训练集上有很好的表现，在实际使用时上却表现平平，这便很有可能是过拟合了为了改善这种情况，我们将一个数据集，分为