目录训练集、验证集、测试集偏差、方差机器学习基础如何减少高方差（过拟合）？用正则化dropout 正则化（随机失活）其他正则化方法归一化输入梯度消失和梯度爆炸神经网络的权重初始化梯度的数值逼近梯度检验梯度检验应用的注意事项蓝色字体是我自己的理解,红色字体是疑问待补充的，其他内容为对课程知识点的梳理。训练集、验证集、测试集在训练集上训练模型，根据验证集的效果选择最好的模型，测试集在最终模型上做...

异常值检验有很多种方法，这里主要说箱形图。所谓的异常就是和大众不一样呗，就是指样本中出现的明显偏离大多数观测值的个别值。箱线图(boxplot)知识原理（我手画了下，因为最开始是发在公众号上的，现在移图想去水印，图上有些可能看不清）适用不要求数据服从正态分布；判断异常条件数据小于Q1-QR1.5或者数据大于Q3+1.5QR为异常值；实例数据来自：http://www.uni-......

工具：anaconda21.TaggedDocumnet 和TaggedLineDocument前者的输入有两个参数：一行分词后的文本，标签；后者的输入：分词之后的文本文件，每个文本占一行2.库版本的差异python的gensim有2.3.0和3.4.0两个版本，加载模型推测文本向量时所用的gensim版本一定要和训模型时使用的版本一样。3.推测文本向量时的注意事项一开......

脚本：#!/usr/bin/python# -*- coding: utf-8 -*-"""@author:@contact:@time:@context:按照dataframe某一列的数值排序，并增加一列索引（2）降序排"""from __future__ import print_functionfrom pyspark.sql im