Kylin 3.1.0新版本安装教程1. 背景在大数据开发中，数据处理一般分为离线和实时数据处理。而在离线数据处理中，数据需求从指标维度来看，又可以进一步划分：固定维度灵活多维度（维度最大数量固定，但维度之间会有组合）唯独不确定针对上述灵活多维度（维度最大数量固定，但维度之间会有组合），传统上可以使用hive，spark sqll等计算引擎做数据分析处理。如hive有with cube，group

HBase 安装教程（基于centos7.x）1.版本选择官网地址HBase目前选择相对新版本的2.2.5版本，2020年5月份。在企业开发中，由于整个技术架构中包含各种框架，框架和框架之间往往会有版本依赖问题。所以虽然每个框架的版本都会解决一些历史bug和增强性能或者添加新功能，但企业做版本选择时往往会选择相对稳定和兼容性更佳的版本而不是最新的版本。2. 环境准备linux集群（这里window

Hive 导入Json格式化数据插件JsonSerDe1. 官方连接https://gitee.com/mirrors_dblock/Hive-JSON-Serde2. 使用实测 hive 3.1.2也是可以使用的使用时脚本演示CREATE EXTERNAL TABLE ODS17.APP_ACTION_LOG(accountstringcomment 'user login account',-

Spark SQL 中org.apache.spark.sql.functions归纳注意，这里使用的是scala 2.12.12，spark版本是最新的3.0.1版本1. Sort functions/*** Returns a sort expression based on ascending order of the column.* {{{*df.sort(asc("dept"), de

Flink 1.12.0学习与分享1. 大数据实时计算引擎历史第一代, 以Storm为代表, 高吞吐,低延迟,但精确一次消费以及开发维护便捷性,生态完善度等相对欠缺一些.第二代,以Spark 为代表, 高吞吐, 牺牲了一些延迟(微批次理念), 结合第三方框架, 可以很好实现精确一次消费. 开发维护便捷性, 生态完善度都非常好.第三代, 以Flink为代表, 设计时就以实时计算为出发点, 高吞吐,低

大数据开发之Django简单接口开发背景做大数据开发，目前主要语言还是java和scala，但python由于在算法方向的广泛应用，一些公司为了降低内部开发和维护成本，会直接统一开发语言为python，而且主流的hadoop，spark，包括flink都有比较完善的python支持了。大数据团队一般职责最简化来说就是ETL，很多时候分工，直接把数据处理好治好，等待下游环节消费即可。但有时候也需要提

大数据数仓之报表开发1. 背景在大数据开发中，主要的数据分析目的可以分为2类。一类是基于历史数据（就算是实时数仓，接收到数据的时候，其实也已经是历史数据了）做数据规律或者结果提取；一类是基于历史数据，训练模型，做未来数据预测或者分类等。如果是前者，基于已有数据做数据规律和数据结果提取，这时候就可以称之为报表开发。参考神策系统，报表开发可以划分固定维度报表开发，一定维度自由组合报表开发，自由维度报表

B站–免费的学习网站  谨以此感谢免费开放视频学习资源的各个培训机构和技术达人，代码开源让编程更简单，学习资源开源让学习更简单。大数据成套学习资料：多易：多易教育涛哥和星哥，大数据的源码级研究顶尖牛人，亲自教学，更新教程非常快，以前传智播客的大数据核心讲师。尚硅谷：尚硅谷课程体系很完备，师资力量雄厚，国内前列的培训机构，并且愿意免费开放相对教新的培训视频和资料。确实很良心Java学习成套资料：动力

大数据开发之机器学习总结（三）机器学习基础数学知识5. Spark MLLib简介6. 模型评估7. Spark MLlib算法案例8.