logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

sql关键字——with 子查询,row_number()排名函数,lag()函数用法举例

lag()函数,取当前行的上一列,用法是lag(列,往上取的行数,填充值),如lag(score, 1, 0)rank()函数在进行排名时,值相同,总数排名会跳过,这样在进行关联时,等号左右两边关联不上,数据减少。表示取score这一列当前行的上一行作为新的一行,若超出窗口范围,则给值为0。所以这里使用row_number()进行排名,分数相同,排名顺序递增。这里将排名存储在虚表中,避免二次查询。

#sql#大数据
sql——窗口范围之partition by 与 order by

max受窗口函数的分区关键字 partition by 与order by影响,每行的最大值可能会有所不同,去掉关键字后,全局一致。order by 常用于对分区内的数据进行排序,常见的情况下,order by还能规定sql语句的影响范围。开窗函数的max()将会产生多行结果,并且受到partition by 与 order by 影响。在max() over()函数中,表示取一个分区内的最大值,

文章图片
#大数据#sql
关于浏览器下载的时候出现失败,网络错误

我通过下载一个叫xdm的软件,也就是类似迅雷这种软件,嵌在浏览器上作为插件,感觉没有出现中断了,可以试一试。速度上来说可以正常下载了。我试过所有浏览器,谷歌,firefox,qq浏览器,还是edge都不好使,1.看网上说是http debugger的问题,但是我没有找到这个服务项。2.也有说可以通过修改或设置下载路径解决。

文章图片
#bug
某国企-大数据开发-二面

我在回答小文件的时候有点卡住了,因为我说小文件大小的时候,说小文件大小为16k认为是小文件,然后面试官问为什么,我说因为mapjoin默认小文件大小是16k,达到256k会进行滚动。如何解决的,小文件多大。5.datanote挂了怎么办,小文件会造成那些问题。7.之前工作中遇到过得最困难的问题,提1~2个。然后想起来自己说话有点卡顿,但我还是说完了。10.superset可以设置参数吗。显然不是一

#大数据
某大厂大数据开发-外包面试

3. 一个表tbl,有2个字段,uid,login_time。求uid对应的最大的连续登录天数。然后面试官还会就你说的细节进行提问,不过没什么难度。一个表tbl: c_id u_id score。3.印象最深的问题,怎么发现的,怎么解决的?6.数仓每层做了什么事,为什么这样做?2.具体问项目流程,如项目怎么实现的。4.spark用过吗,用到的开发工具。bid代表:uid关注的用户id。表A (ui

文章图片
#面试#职场和发展#大数据
大数据面试题

Flink1.Flink的三种时间语义?2.Flink的checkpoint 和Spark的checkpoint的区别?3.Flink的优化?4.在项目中遇到那些问题,发生了什么事情,问题怎么解决的?

文章图片
#面试#大数据
德拓外包-大数据开发面试

面试官指点,认为hive sql只要熟悉就能胜任工作,在掌握一门计算语言,如java,python,就能干好工作。3.hive,两张表的重复数据,怎么去重?4.udf函数写过吗,flink消费kafka中的数据写过代码吗,需要看代码?都在公司的库里, 银行金融项目谁让你把代码带出去的,就是公司业务保密。不足:对于简历上的内容,回答支支吾吾,甚至不能开口,所以面试失败。1.面试官要是要看以前写过的代

文章图片
#大数据
到底了