logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop2hdfs存储原理

通过http协议从namenode拿取edits然后合并为fsimage回传给namenode使用。fsimage文件记录某个时间点的整个文件系统的结构和状态,包括文件目录、文件路径、文件大小、块数等等。dfs.namenode.checkpoint.check.period,默认。5. 重复123流程。dfs.namenode.checkpoint.period,默认。dfs.namenode.

#hadoop#hdfs
hadoop4hive入门

启动必须项:首先启动metastore服务,然后启动hiveserver2服务。用户编写sql--hive转为mapreduce--查询元数据--提交到yarn执行。(2)Hive的数据存储在HDFS的:/user/hive/warehouse中。元数据管理功能,即: 数据位置 数据结构 对数据进行描述 进行记录。1.使用hive处理数据底层都是执行的maprecuce程序。(1)元数据存储:通过

#大数据#hive
hadoop3yarn&mapreduce

(2)中心调度->步骤执行 (大数据体系的Spark、Flink等是这种模式)(计算不简简单单为分散-汇总,在分散后还会有交换、复杂的一些计算操作后再汇总)对外提供WEB 站点会有安全性问题, 而代理服务器的功能就是最大限度保障对WEB UI的访问是安全的。(2)NodeManager:单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用。先在自己的服务器上占一个容器的资源后,分配

#mapreduce#大数据
到底了