logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive3.x异常- return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

提交joinsql核心异常如下return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTaskThe value of property yarn.resourcemanager.zk-address must not be nullorg.apache.hive.service.cli.HiveSQLException: E

【大数据基础-数据仓库-01】数据分析-拉链表hive拉链表与拉链表简单实现

hive拉链表拉链表优缺点节省空间,尤其是数据量很大的时候;对于订单事务性的数据,查看历史操作记录非常方便,比如说需要查看某一个时间点或者时间段的历史快照信息,查看某一个订单在历史某一个时间点的状态,查看某一个用户在过去某一段时间内,更新过几次等等不过仅适合基于历史数据更新频率比较低的场景,如果每天1000w订单,每天更新1000次以上Demo尝试与实现做一个订单分析的拉链表准备订单事务表CREA

#hive
Hivesql优化&sparksql优化梳理

Hive sql 优化方案梳理总结说明此篇文章我们将对Hivesql的优化方案进行梳理和总结,欢迎大家一起讨论,可以补充和完善的地方欢迎各位大牛积极在评论区提出,大家一起共同学习共同成长...

ambari在移动namenode的时候出现两个备用的namnode

ambari在移动namenode的时候出现两个备用的namnode异常如下: 2017-11-17 15:38:55,621 INFO  zookeeper.ClientCnxn (ClientCnxn.java:run(512)) - EventThread shut down2017-11-17 15:38:55,621 INFO  ha.ActiveStandbyElector

udf开发入门(python udf、hive udf)

开发前的声明udf开发是在数据分析的时候如果内置的函数解析不了的情况下去做的开发,比方说你只想拆分一个字段,拼接一个字段之类的,就不要去搞udf了,这种基本的需求自带函数完全支持,具体参数可参考文档:http://spark.apache.org/docs/latest/api/sql/search.html?q=cast里面列举了所有函...

到底了