
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
1、从一个Demo入手因为阅读一个源码,需要找到他的入口,一般一些计算框架,他都会提供一些例子类。所以我们就U型那咋从WordCount这个类来进行入手!1.1 WordCountpublic class WordCount {public static class TokenizerMapperextends Mapper<Object, Text, Text, IntWritable&g
1.MapTask的工作原理1.1 runNewMapperprivate <INKEY,INVALUE,OUTKEY,OUTVALUE>void runNewMapper(final JobConf job,final TaskSplitIndex splitIndex,final TaskUmbilicalProtocol umbilical,TaskReporter
1、分布式计算引擎的核心设计思路分布式里的核心思路:就是分而治之(比如怎么切分和怎么合并)既然复杂问题,单台计算搞不定,那么就发挥人多力量大的优势:组建一个多服务器组成的集群来完成分布式计算的问题。核心过程就是:1、第一阶段:复杂的大任务拆分成多个简单的小任务来进行执行2、第二阶段:把第一阶段的并行执行的小任务的执行结果进行汇总MapReduce:一句话讲就是分而治之+并行计算HDFS:一句话总结
虚拟机下载和安装下载VMware百度云下载地址:https://pan.baidu.com/s/13Yl_Qexu4hxY40mT6EShfw提取码:re6b安装(确保电脑开启虚拟化)许可证:VG5HH-D6E04-0889Y-QXZET-QGUC8虚拟机安装前往自己最大的硬盘上建立一个文件夹Machines将我们的Linux镜像放入其中配置VMware和windows配置windos的hosts







