Softmax分类—很多时候，在多分类问题中我们希望输出的是取到某个类别的概率，或者说，我们希望分值大的那个类别被经常取到，而分值较小的那一项也有一定可能性偶尔被取到。Softmax即是这样一种模型，最后的输出是每个类别被取到的概率值。假设有一个数组，表示中的第个元素，那么这个元素的Softmax值为：通常我们采用“交叉熵”它用来衡量两个取值为正的函数的相似性。对于两个完全相同的函数，它们的交叉熵

多分类学习—多分类问题的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解。常见的拆分策略由三种：“一对一（OvO）”、“一对其余（OvR）”和“多对多（MvM）”。OvO是把要划分的N个类别两两配对，从而产生N(N-1)/2个二分类任务，每一个二分类任务都有一个分类器，最终结果可通过投票产生：即把预测得最多得类别作为最终分类结果。OvR则是每次将一个类的样例作为正例、所有其他类的样例作

逻辑回归—考虑二分类任务，其输出标记，而线性回归模型产生的预测值是实值，于是，我们需将实值转换为0/1值。最理想的是“单位阶跃函数”，即若预测值大于零就判为正例，小于零则判为反例，等于零则可任意判别。但是单位阶跃函数不连续，不便于求导估计参数值。于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微。Sigmoid函数它将值转化为一个接近0或1的值，并且其输出在附近变化很陡

构造一个数据集，便于演示这些函数。import pandas as pddf = {'姓名': ['漩涡鸣人', '宇智波佐助', '旗木卡卡西', '春野樱', '宇智波鼬'],'性别': ['男', '男', 'men', 'women', '男'],'身份证': ['463895200003128433', '429475199912122345', '420934199110102311'

import sysimport randomimport mathimport osimport numpy as npimport pandas as pdfrom operator import itemgetterfrom collections import defaultdictrandom.seed(0)class UserBasedCF(object):"""TopN recomm

在样本空间中，划分超平面可通过如下线性方程来描述其中为法向量，决定了超平面的方向；为位移项，决定了超平面与原点之间的距离。样本空间中任意点到超平面的距离为假设超平面能将样本正确分类，即对于，若，则有；若，则有。我们把使得当时，的样本点，以及使得当时，的样本点称为“支持向量”，两个异类支持向量到超平面的距离之和为它被称为“间隔”。欲找到具有“最大间隔”划分的超平面，也就是要找到能满足约束条件的参数和

目录1 特征工程是什么？2 数据预处理2.1 无量纲化2.1.1 标准化2.1.2 区间缩放法2.1.3 标准化与归一化的区别2.2 对定量特征二值化2.3 对定性特征哑编码2.4 缺失值计算2.5 数据变换​3 特征选择3.1 Filter3.1.1 方差选择法3.1.2 相关系数法3.1.3 卡方检验3.1.4 互信息法3.2 Wrapper3.2.1 递归特征消除法3.3 Embedded3

在“M-P神经元模型”中，神经元接收到来自个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。常用Sigmoid函数作为激活函数。把许多个这样的神经元按一定额层次结构连接起来，就得到了神经网络。事实上，从计算机科学的角度看，我们可以先不考虑神经网络是否真的模拟了生物神经网络，只需将一个神经

逻辑回归—考虑二分类任务，其输出标记，而线性回归模型产生的预测值是实值，于是，我们需将实值转换为0/1值。最理想的是“单位阶跃函数”，即若预测值大于零就判为正例，小于零则判为反例，等于零则可任意判别。但是单位阶跃函数不连续，不便于求导估计参数值。于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微。Sigmoid函数它将值转化为一个接近0或1的值，并且其输出在附近变化很陡

线性回归—它试图学得我们通过“均方误差”，即最小化的过程，称为线性回归模型的最小二乘“参数估计” 。分别对和求导，得到，，然后令它们等于零可得到和最优解的闭式解，，其中为的均值。更一般的情形是在数据集中样本由个属性描述。此时我们试图学得，这称为“多元线性回归”。类似的，可利用最小二乘法的矩阵形式来对和进行计算得到它们最优解的闭式解。然而现实任务中我们可能解出多组和，从而得到多个模型，选择哪一个模型