
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Hadoop入门学习(一)—— HDFS分布式文件系统
Hadoop是一个Apache基金会所开发的分布式系统基础架构主要解决:海量数据的存储和分析计算问题Hadoop的优势:(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。(2)高扩展性:在集群间分配任务数据,可方便的扩展数以干计的节点。(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。(4
Hadoop入门学习(三)——MapReduce 分布式计算框架
MapReduce 提供了两个编程接口:Map 和 ReduceMap接口:提供了“分散”的功能,由服务器分布式对数据对数据进行处理。Reduce接口:提供了“汇总”的功能,将分布式的处理结果汇总统计。用户可以通过Java、Python等编程语言,实现MapReduce功能接口,即可使用MapReduce 框架完成自定义需求程序开发。通常MapReduce是基于YARN运行的。
到底了







