sparksql 查看物理执行计划

在windows下搭建spark1.x开发环境尝试小记先说明安装的版本idea20160204jdk7maven3.1.1scala2.10.4这里hadoop和spark的版本选了个较新2.6的：spark-1.6.3-bin-hadoop2.6；因为spark2的用法出现了较大的变化，需要hadoop2.7。所以这次我们就用的是第一个等级的hadoop，选2.6。spar

跟这哥们的经历一样http://blog.csdn.net/tomatomas/article/details/53496007先用自己的招行卡，识别不了。是要用visa卡，我没有就用的家里人的。绑定上就会被扣1刀。然后注册的时候选择类型，BasicSupport，除了这个，其他的都要收费。程序员级别的好像是30刀每月。我是9月12号订的，收了17美元。其次，那个信用卡绑上了就直

onehot编码是一种稀疏编码方式,如果词语越多,维度也越大.会出现维数灾难.针对one-hot编码,sklearn中实现如下.CountVectorizer类(计数向量)先用英文举例.它会针对每个单词计数,丢失位置信息from sklearn.feature_extraction.text import CountVectorizercorpus = ['This is the first do

编辑距离,又称Levenshtein距离.表示从字符串1到字符串2,需要增删改操作的最小次数编辑距离实现的原理是动态规划算法,leetcode经典题目中有一道.python中有现成的库实现,安装方法如下pip install python-Levenshtein --user包中所有的方法如下图所示本文只演示distanceimport LevenshteinLevenshtein.distanc

梯度下降法和牛顿法的区别与对比李航小蓝书附录1和2介绍了梯度下降法和牛顿法（包括拟牛顿法）（1）从阶数来看。梯度下降法是一阶优化算法，牛顿法是二阶优化算法（2）从收敛速度来看。牛顿法的收敛速度相比梯度下降法常常较快（3）从计算速度来看。从牛顿法每次需要更新一个二维矩阵，计算代价很大，实际使用中常使用拟牛顿法（4）对于神经网络的训练选择。牛顿法对初始值有一定要求，在非凸优化问题中（如神经网络训练），

总结了三种方法：（1）直接删除法，会舍弃数据中的一些重要信息；减少了样本量（2）基于统计学的填充方法，总结下主要有如均值填充，中值填充，常用值填充，众数填充（3）机器学习的填充方法，通过算法预测缺失值。...

梯度下降法和牛顿法的区别与对比李航小蓝书附录1和2介绍了梯度下降法和牛顿法（包括拟牛顿法）（1）从阶数来看。梯度下降法是一阶优化算法，牛顿法是二阶优化算法（2）从收敛速度来看。牛顿法的收敛速度相比梯度下降法常常较快（3）从计算速度来看。从牛顿法每次需要更新一个二维矩阵，计算代价很大，实际使用中常使用拟牛顿法（4）对于神经网络的训练选择。牛顿法对初始值有一定要求，在非凸优化问题中（如神经网络训练），

几款科学计算显卡对比（GTX Titan X、GTX 980、Tesla K40 K80 及quadro K4200）科学计算显卡的两个主要性能指标：1、CUDA compute capability，这是英伟达公司对显卡计算能力的一个衡量指标；2、FLOPS 每秒浮点运算次数，TFLOPS表示每秒万亿（10^12）次浮点计算；3、另外，显存大小也决定了实验中能够使用的样本

总结了三种方法：（1）直接删除法，会舍弃数据中的一些重要信息；减少了样本量（2）基于统计学的填充方法，总结下主要有如均值填充，中值填充，常用值填充，众数填充（3）机器学习的填充方法，通过算法预测缺失值。...