简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
写在前面====大数据时代,维度建模已成为各大厂的主流方式。维度建模从分析决策的需求出发构建模型,为分析需求服务。重点关注用户如何快速的完成数据分析,可以直观的反应业务模型中的业务问题,需要大量的数据预处理、数据冗余,有较好的大规模复杂查询的响应性能。系列文章详见「一、为什么要进行数据仓库建模?性能:良好的模型能帮我们快速查询需要的数据,减少数据的IO吞吐成本:减少数据冗余、计算结果复用、从而降低
搭建集群需要3个虚拟机,hadoop01,hadoop02,hadoop03,已经安装了hadoop01,剩下两个需要用到虚拟机克隆。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令,来刷新配置文件。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令,来刷新配置文件。修改hadoop02和ha
当前已经有非常多的流式处理系统,最知名且应用最多的开源流式处理系统有 Spark Streaming 和 Apache Storm。Apache Storm 发展多年,应用广泛,提供记录级别的处理能力, 当前也支持 SQL on Stream。而 Spark Streaming 基于 Apache Spark,可以非常方便与图计算, SQL 处理等集成,功能强大,对于熟悉其它 Spark 应用开发
//…var f = yield readFile(fileA);//…}通过一个 Generator 函数的 yield, 可以将一个协程中断,去执行另一个协程。我们可以换一个角度理解 Generator 函数:它是协程在 ES6 中的具体体现。我们可以简单写一个异步任务的封装:var fetch = require(‘node-fetch’);function* gen(){var url =