题目1：有表table1,里面有2列，列a和列b，对应社区相互关注的用户，怎么找到相互关注的一组用户答：selecta,bfrom(selecta,bfromtable1union allselectb,afromtable1) t1group by a,bhavingcount(1) > 1;题目2：...

上一篇文章大致讲了数据仓库构建的理论部分，这一篇以实际工作为例，大致的整理下数据仓库的构建，也算是工作的总结；同时由于使用的是云平台，所以很多hadoop系列的技术问题基本都没有。一、工作背景所在部门的主要业务主要做的是电商导购，主要数据分为订单业务数据和流量数据，由于不牵涉到订单结算和物流系统，所以业务相对较简单。订单数据很小，这一部分的处理不是大问题，每...

keyBy:将Stream根据指定的Key进行分区，是根据key的散列值进行分区的（和sql的group by类似）max:对数据聚合，取最大值，非聚合字段，返回的是第一次的值maxBy:和max类似，但是在非聚合字段返回的是当前最大值package com.shihuo.apitest_transform;import com.shihuo.com.shihuo.apitest_beans.Se

工作中，大多数时候会需要把json数组中的数据解析出来，现在会经常和后端打交道，后端同学就希望把正常的行列数据用json的形式给他们，他们使用起来方便，我看有的文章会写用udtf函数实现，不过本着能用内置函数绝不用自定义函数的原则(主要是我不会写)，用内置函数实现也不是很难。原数据形式：希望转换成一个标准的json数组，{下装款型: ...

在学习线性回归的时候很多课程都会讲到用梯度下降法求解参数，对于梯度下降算法怎么求出这个解讲的较少，自己实现一遍算法比较有助于理解算法，也能注意到比较细节的东西。具体的数学推导可以参照这一篇博客（http://www.cnblogs.com/pinard/p/5970503.html）一、首先，我们用一个简单的二元函数用梯度下降法看下算法收敛的过程...

hive作为hadoop系列的计算模型，在公司的数据清洗和报表开发广泛使用，合理的优化自己的语句结构可以节省计算时间，优化集群的计算资源，下面总结下日常工作中自己碰到的一些问题和别人总结的一些方法。我们先了解下关系型数据库sql的执行顺序，hive大致相同然后大致了解下hive的架构：具体策略：1、尽早的过滤数据，hive同样会先执行join，再执行w...

一、K-means算法主要过程　　(1)从数据中选择k个对象作为初始聚类中心;　　(2)计算每个聚类对象到聚类中心的距离来划分；　　(3)再次计算每个聚类中心　　(4)聚类中心不再变化或到最大迭代次数，则停止，否则，重复2、3。二、K-means算法手写公式化表示三、K-means算法适用范围适用于凸数据集，且数据集符合混合高斯分布，这也是由算法特性决...