logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

2024.1.5 Hadoop阶段,各组件工作原理,八股文,面试题

leader宕机后启动: 每一个leader当老大的时候,都会产生新纪元epoch,且每次操作完节点数据都会更新事务id(高32位_低32位) ,当leader宕机后,剩下的follower就会综合考虑几个因素选出最新的leader,先比较最后一次更新数据事务id(高32位_低32位),谁的事务id最大,谁就当选leader,如果更新数据的事务id都相同的情况下,就需要再次考虑myid,谁的myi

文章图片
#hadoop#hive#zookeeper +4
2023.11.15-hivesql之炸裂函数explode练习

需求:将NBA总冠军球队数据使用explode进行拆分,并且根据夺冠年份进行倒序排序。

文章图片
#sql#database#hive +2
2023.11.16-hive sql高阶函数lateral view,与行转列,列转行

hive函数主要功能是将原本汇总在一条(行)的数据拆分成多条(行)成虚拟表,再与原表进行笛卡尔积,从而得到明细表。配合UDTF函数使用,一般情况下经常与explode函数搭配,explode的操作对象(列值)是ARRAY或者MAP,可以通过split函数将 String 类型的列值转成ARRAY来处理。

文章图片
#hive#sql#hadoop +3
到底了