Hive 导入Json格式化数据插件JsonSerDe1. 官方连接https://gitee.com/mirrors_dblock/Hive-JSON-Serde2. 使用实测 hive 3.1.2也是可以使用的使用时脚本演示CREATE EXTERNAL TABLE ODS17.APP_ACTION_LOG(accountstringcomment 'user login account',-

Spark SQL 中org.apache.spark.sql.functions归纳注意，这里使用的是scala 2.12.12，spark版本是最新的3.0.1版本1. Sort functions/*** Returns a sort expression based on ascending order of the column.* {{{*df.sort(asc("dept"), de

Flink 1.12.0学习与分享1. 大数据实时计算引擎历史第一代, 以Storm为代表, 高吞吐,低延迟,但精确一次消费以及开发维护便捷性,生态完善度等相对欠缺一些.第二代,以Spark 为代表, 高吞吐, 牺牲了一些延迟(微批次理念), 结合第三方框架, 可以很好实现精确一次消费. 开发维护便捷性, 生态完善度都非常好.第三代, 以Flink为代表, 设计时就以实时计算为出发点, 高吞吐,低

大数据开发之Django简单接口开发背景做大数据开发，目前主要语言还是java和scala，但python由于在算法方向的广泛应用，一些公司为了降低内部开发和维护成本，会直接统一开发语言为python，而且主流的hadoop，spark，包括flink都有比较完善的python支持了。大数据团队一般职责最简化来说就是ETL，很多时候分工，直接把数据处理好治好，等待下游环节消费即可。但有时候也需要提

大数据数仓之报表开发1. 背景在大数据开发中，主要的数据分析目的可以分为2类。一类是基于历史数据（就算是实时数仓，接收到数据的时候，其实也已经是历史数据了）做数据规律或者结果提取；一类是基于历史数据，训练模型，做未来数据预测或者分类等。如果是前者，基于已有数据做数据规律和数据结果提取，这时候就可以称之为报表开发。参考神策系统，报表开发可以划分固定维度报表开发，一定维度自由组合报表开发，自由维度报表

B站–免费的学习网站  谨以此感谢免费开放视频学习资源的各个培训机构和技术达人，代码开源让编程更简单，学习资源开源让学习更简单。大数据成套学习资料：多易：多易教育涛哥和星哥，大数据的源码级研究顶尖牛人，亲自教学，更新教程非常快，以前传智播客的大数据核心讲师。尚硅谷：尚硅谷课程体系很完备，师资力量雄厚，国内前列的培训机构，并且愿意免费开放相对教新的培训视频和资料。确实很良心Java学习成套资料：动力

大数据开发之机器学习总结（三）机器学习基础数学知识5. Spark MLLib简介6. 模型评估7. Spark MLlib算法案例8.