线性回归import numpy as npfrom sklearn.linear_model import LinearRegressionimport matplotlib.pyplot as pltfrom sklearn import datasetsboston = datasets.load_boston()X = np.linspace(0,10,50).reshape(-1,1)y

线性回归岭回归套索回归比较import numpy as npfrom sklearn.linear_model import LinearRegression,Ridge,Lasso#50样本，200特征#无解：无数个解X = np.random.randn(50,200)w = np.random.randn(200)#将其中的190个置为0index = np.arange(0,200)np

金融风控介绍最开始的信贷风控是怎么做的？人审吃业务经验不能大批量处理，效率低下不适用于移动互联网时代的金融场景建模的概念建模就是构造一个数学公式，能将我们手上有的数据输入进去，通过计算得到一些预测出来的结果。 比如大家初中/高中学习的线性回归，就是最简单的建模过程。风控模型最原始的思路就是输入一个用户的信息，得到这个人是 “会还钱” 还是 “不会还钱”。这就是个二分类问题。而评分卡模型其实就是希望

显著大于0，交互效应正向显著小于0，交互效应负向定性数据描述——数据透视表分析——数据透视图联合显著性检验P值要小于0.05——>模型才成立G4多重共线性——虚拟变量（n-1）G1评价量平均相比于G4评价量少7595以评价量为因变量，研究影响评价量的重要因素不推荐bp检验，推荐怀特检验p小于0.05，拒绝原假设...

记录了关于梯度的历史SGDSGD with Momentum防止gradient为0，SGD停止不动了sgd with momentum，前面的移动会累加到下一步sgd with momentum，前面的移动会累加到下一步，所以小球不会卡在局部的一个最优的位置Adagrad前几个time step如果坡度很大，就会暴走，走到不好的位置上，有个分母就会走小步一点RMSProp怕使用adagrad时，

1. LightGBM简介GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于G

任务说明Binary classification is one of the most fundamental problem in machine learning. In this tutorial, you are going to build linear binary classifiers to predict whether the income of an indivisual

rnn的输入有先后，transfomer的输入是一起处理的，这样做增快了速度，但是忽略单词的先后关系，所有transfomer要位置编码。6个encoder结构是完全相同的（但参数上不同），6个decoder结构是完全相同的（但参数上不同）。rnn梯度消失：rnn的梯度是梯度和，梯度消失不是变为0而是总梯度被近距离梯度阻挡，远距离梯度忽略不计。query是汤姆，key1是Tom，key2是Chas

线性回归import numpy as npfrom sklearn.linear_model import LinearRegressionimport matplotlib.pyplot as pltfrom sklearn import datasetsboston = datasets.load_boston()X = np.linspace(0,10,50).reshape(-1,1)y

星座属性单变量分析import pandas as pdimport numpy as npft_zodiac = pd.read_csv('ft_zodiac.txt')print(ft_zodiac.shape)ft_zodiac.head()结果：zodiac_label = pd.read_csv('zodiac_label.txt')#这里去除标签为2的数据ft_label = zodi