一，背景：用户数据泄露一直是如今互联网世界的一个焦点，从最近的京东撞库抹黑事件，到之前的CSDN，如家用户数据的泄露，服务商和黑客之间在用户数据这个舞台上一直在进行着旷日持久的攻防战。对于大多数用户而言，撞库可能是一个很专业的名词，但是理解起来却比较简单，撞库是黑客无聊的“恶作剧”，黑客通过收集互联网已泄露的用户+密码信息，生成对应的字典表，尝试批量登陆其他网站后，得到一系列可以登陆的用户。&nb

集成学习基本了解1. 为什么需要集成学习2. Bagging  基本概念： 给定我们一个原始训练样本集，我们将其拆分为多份，分别对每份样本集建立一个分类器(一般是弱分类器)，分类器之间相互独立，最后再将分类器进行结合，因此 集成学习 有时候被称为 多分类器系统。         &...

          对于二分类任务，其输出的标签 y∈{0,1}y\in \{0, 1\}y∈{0,1}，而线性回归模型产生预测值 z=wTx+bz=w^{T}x+bz=wTx+b是一个实数，因此需要通过一个模型映射到 0/1值，此时最理想的是“单位阶跃函数”，如下图：  ...

          我们知道最小二乘法的 误差函数 是 均方L2范数，接下来则是讨论 为什么均方回归会对异常点outliers敏感 以及 有没有更好的误差函数使得更好的处理outliers？        &nb...

      前言： 我们所了解的监督学习有以下多种，希望都能了解与运用。         最近邻与K近邻（NN、KNN）         K近邻...

机器学习之GD、SGD1. 梯度下降法 GD2. 随机梯度下降法 SGD 1. 梯度下降法 GD 2. 随机梯度下降法 SGDSGD和之前的GD区别在于，GD是对函数进行求导，对整个训练集每个样本来计算，但是SGD则是对一个或者多个样本来操作，例如有10000个样本，但每次只对100个或1000个来计算梯度，从而更新参数；SGD存在一个弊端：因为求得的梯度...

模型评估与选择1. 误差与过拟合1.1. 误差及其类型1.2. 过拟合/欠拟合2. 评估方法 1. 误差与过拟合         我们在训练模型上，希望泛化误差越小越好，在模型选择上，我们则需要从这三个方面：评估方法、性能度量、比较验证 来考虑，最后选出最优模型。 1.1. ...

生成对抗网络GAN讲解 ABSTRACT 1. INTRODUCTION2.Related work        原文：Generative Adversarial Nets代码：收录：NIPS(NeurIPS) 2014 (Conference and Workshop on Neural Inform...

Domain Adaptation 1. 源域与目标域区别在哪？ 2. 不同的域自适应方法 Reference        含义：在经典的机器学习中，当 源域 和 目标域 数据分布不同，但是两者的任务相同时，这种 特殊 的迁移学习就是域自适应（Domain Adaptation）   &

计算方法1.向量乘积的微分2.向量与矩阵乘积的微分3.矩阵范数的微分f(x)=(x,a)=aTx=xTa    因此dfdx=af(x)=(x,a)=a^{T}x=x^{T}a\ \ \ \ 因此\frac{df}{dx}=af(x)=(x,a)=aTx=xTa    因此dxdf​=af(x)=x...