单机上可以本地模式运行单机上伪分布式模式运行集群上standalone模式,spark on yarn模式，spark on mesos模式，这里主要介绍集群前两种。standalone模式类似于单机伪分布式模式，如果是使用spark-shell交互运行spark任务或者使用run-example运行官方示例，driver是运行在master节点上的。如果使用spark-submit进行任务

在win10下安装Ubuntu16.04双系统，成功安装并设置引导，因为要进行深度学习方面的研究，需要借助caffe，TensorFlow等深度学习框架，在Ubuntu系统中是十分方便的。

装显卡驱动之step two（很多同学都是因为这步而放弃深度学习的）：这也是使用深度学习框架GPU版本的关键，无奈装了几天没装好，大部分时间都是停在这一步，只能放弃，其实这里与我的电脑显卡设置有关

装显卡驱动之step two（很多同学都是因为这步而放弃深度学习的）：这也是使用深度学习框架GPU版本的关键，无奈装了几天没装好，大部分时间都是停在这一步，只能放弃，其实这里与我的电脑显卡设置有关

在win10下安装Ubuntu16.04双系统，成功安装并设置引导，因为要进行深度学习方面的研究，需要借助caffe，TensorFlow等深度学习框架，在Ubuntu系统中是十分方便的。

xgboost算法原理与实战之前一直有听说GBM，GBDT（Gradient Boost Decision Tree）渐进梯度决策树GBRT（Gradient Boost RegressionTree）渐进梯度回归树是GBDT的一种，因为GBDT核心是累加所有树的结果作为最终结果，而分类树的结果是没法累加的，所以GBDT中的树都是回归树，不是分类树。XGBoost（eXtreme Gradi

对于机器学习，尤其是深度学习DL的算法，模型训练可能很耗时，几个小时或者几天，所以如果是测试模块出了问题，每次都要重新运行就显得很浪费时间，所以如果训练部分没有问题，那么可以直接将训练的模型保存起来，然后下次运行直接加载模型，然后进行测试很方便。在tensorflow中保存（save）和加载（restore）模型的类是tf.train.Saver()，其中变量保存的是key-value，不传参数默

做回归分析，常用的误差主要有均方误差根（RMSE）和R-平方（R2）。RMSE是预测值与真实值的误差平方根的均值。这种度量方法很流行（Netflix机器学习比赛的评价方法），是一种定量的权衡方法。””’ 均方误差根 ”’过拟合加入L1正则化和L2正则化，岭回归

先说下我自己laptop没有hadoop环境（虚拟机中有伪分布式，不过是为了熟悉hadoop啦），也没有像网上那样用cygwin，主要得益于实验室服务器上师兄之前搭建了hadoop集群，之前一直用xshell连接的。不过后面要写mapreduce程序的时候在本地写再打包成jar放到hadoop上跑就没法本地运行测试了。所以这里是记录：本机eclipse远程连接hadoop集群，使用hadoop2x

在win10下安装Ubuntu16.04双系统，成功安装并设置引导，因为要进行深度学习方面的研究，需要借助caffe，TensorFlow等深度学习框架，在Ubuntu系统中是十分方便的。