在学习线性回归的时候很多课程都会讲到用梯度下降法求解参数，对于梯度下降算法怎么求出这个解讲的较少，自己实现一遍算法比较有助于理解算法，也能注意到比较细节的东西。具体的数学推导可以参照这一篇博客（http://www.cnblogs.com/pinard/p/5970503.html）一、首先，我们用一个简单的二元函数用梯度下降法看下算法收敛的过程...

hive作为hadoop系列的计算模型，在公司的数据清洗和报表开发广泛使用，合理的优化自己的语句结构可以节省计算时间，优化集群的计算资源，下面总结下日常工作中自己碰到的一些问题和别人总结的一些方法。我们先了解下关系型数据库sql的执行顺序，hive大致相同然后大致了解下hive的架构：具体策略：1、尽早的过滤数据，hive同样会先执行join，再执行w...

工作中，大多数时候会需要把json数组中的数据解析出来，现在会经常和后端打交道，后端同学就希望把正常的行列数据用json的形式给他们，他们使用起来方便，我看有的文章会写用udtf函数实现，不过本着能用内置函数绝不用自定义函数的原则(主要是我不会写)，用内置函数实现也不是很难。原数据形式：希望转换成一个标准的json数组，{下装款型: ...

一、K-means算法主要过程　　(1)从数据中选择k个对象作为初始聚类中心;　　(2)计算每个聚类对象到聚类中心的距离来划分；　　(3)再次计算每个聚类中心　　(4)聚类中心不再变化或到最大迭代次数，则停止，否则，重复2、3。二、K-means算法手写公式化表示三、K-means算法适用范围适用于凸数据集，且数据集符合混合高斯分布，这也是由算法特性决...