写文章
- @diaodu2028
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
大数据(十二) --使用MapReduce和SparkCore技术实现单词统计(WorldCount)案例
WorldCount案例案例说明计算分析MapReduce的Java实现SparkCore的Scala实现案例说明 大数据分析处理万变不离其宗, 核心思想就是一个WorldCount–单词统计. 单词统计, 顾名思义就是将一个文件中出现的所有单词读一遍, 并对相同单词的个数进行统计. 如何处理这个文件?如何得到每一个单词? 如何对...
大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume
集群搭建集群规划汇总Linux 环境准备Hadoop Ha 集群搭建Yarn 搭建Hive 搭建Spark 搭建Spark Standalone 模式Spark Yarn 模式Kafka 搭建Hbase 搭建Sqoop 搭建Flume 搭建本文将持续更新…集群规划汇总角色node01node02node03node04...
大数据(五) --完全分布式搭建
说明搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置OK.完全分布式搭建在node01节点上将上传的Hadoop压缩包解压这里我将文件解压到/opt/software/hadoop文件夹下.tar -zxf hadoop-2.6.5.tar.gz -C /opt/software/hadoop进入配置文件修...
大数据(九)--Scala编程语言-安装+基础
ScalaScala介绍Scala安装1. windows下安装, 环境配置2. Scala-IDEA3. IntelliJ IDEA中安装Scala插件4. IntelliJ IDEA-2017.3版本中创建Scala项目Scala基础1. 数据类型2. 常量&变量3. 类&对象4. 判断语句5.循环语句5.1 to和un...
到底了