平均共现次数3.18，最高为2202，两篇新闻连续出现的概率算高，说明用户看的新闻上下相关性较强。从上图可以发现不同用户点击文章的时间差是有差异的，用户先后点击文章，文章的创建时间也是有差异的。由图知，偏好类型广泛的用户较少，大多数用户的偏好类型较少，在20个类型以下。这是一种简单的处理思路， 判断用户活跃度，更加全面的是再结合上点击时间，点击次数小于等于两次的用户非常的多，这些用户可以认为是非活

3.1前馈神经网络使用前馈神经网络来识别手写数字(从0到9)。数据集MNIST手写体数据集，这里包含了5000个训练样本。之前用逻辑回归进行多元分类，这次用前馈神经网络进行预测。shen神经网络：类似于神经元细胞体，通过类似于树突的输入通道传递给神经元信息让它工作，再通过类似于轴突的输出通道输出结果。h在这里称为激活函数（activation function），我们称这个逻辑单元（logisti

8.1推荐系统实现协同过滤算法并将它运用在电影评分的数据集上，最后根据新用户的评分来给新用户推荐10部电影。这个电影评分数据集由1到5的等级组成。数据集有nu = 943个用户和nm = 1682部电影。在计算完协同过滤的代价函数以及梯度后，将使用牛顿共轭梯度法求得参数。数据集中，Y是一个(1682, 943)的矩阵，存储了从1到5的评分，矩阵R为二值指标矩阵，其中如果用户j对电影i进行评级，R(

7.1主成分分析主成分分析（PCA）来实现降维。首先用一个二维的样本集来实验，对PCA如何运行的有一个直观的感受，然后再在一个更大的由5000个人脸图像组成的数据集上实现PCA。降噪 ：降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间

3.0 多元逻辑回归案例：手写多分类问题使用逻辑回归和神经网络来识别手写数字(从0到9)。逻辑回归，并将其应用于one-vs-all分类。数据：本次的数据是以.mat格式储存的，mat格式是matlab的数据存储格式，按照矩阵保存，与numpy数据格式兼容，适合于各种数学运算，因此这次主要使用numpy进行运算。ex3data1中有5000个训练样例，其中每个训练样例是一个20像素×20像素灰度图

目录1.0 实现线性回归预测2.0 线性可分logistic逻辑回归2.1 线性不可分logistic逻辑回归3.0 logistic逻辑回归手写多分类问题3.1 神经网络正向传播4.0 神经网络反向传播（BP算法）5.0 方差与偏差6.0 SVM支持向量机7.0 kmeans聚类7.1 PCA主成分分析...

模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。简单加权融合:回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；分类：投票（Voting)综合：排序融合(Rank averaging)，log融合构建多层模型，并利用预测结果再拟合预测。boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）

2.1.Logistic回归模型 (线性不可分)用正则化的Logistic回归模型来预测一个制造工厂的微芯片是否通过质量保证（QA），在QA过程中，每个芯片都会经过各种测试来保证它可以正常运行。假设你是这个工厂的产品经理，你拥有一些芯片在两个不同测试下的测试结果，从这两个测试，你希望确定这些芯片是被接受还是拒绝，为了帮助你做这个决定，你有一些以前芯片的测试结果数据集，从中你可以建一个Logisti

3.1前馈神经网络使用前馈神经网络来识别手写数字(从0到9)。数据集MNIST手写体数据集，这里包含了5000个训练样本。之前用逻辑回归进行多元分类，这次用前馈神经网络进行预测。shen神经网络：类似于神经元细胞体，通过类似于树突的输入通道传递给神经元信息让它工作，再通过类似于轴突的输出通道输出结果。h在这里称为激活函数（activation function），我们称这个逻辑单元（logisti

8.0.异常检测实现异常检测算法，并将其应用于检测网络中的故障服务器。在第二部分中，您将使用协同过滤来构建电影推荐系统。在本练习中，您将实现一个异常检测算法来检测服务器计算机中的异常行为。这些特性度量每个服务器的吞吐量(mb/s)和响应的延迟(ms)。在服务器运行时，您收集了m = 307个关于它们行为的样本，因此有一个未标记的数据集{x(1)，…，x(m)}。您怀疑这些样本中的绝大多数都是正常运