logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据学习笔记(三)

1.HDFS架构一个HDFS 文件系统包括一个主控节点NameNode 和一组DataNode 从节点。NameNode是一个主服务器,用来管理整个文件系统的命名空间和元数据,以及处理来自外界的文件访问请求。NameNode 保存了文件系统的三种元数据: 1) 命名空间, 即整个分布式文件系统的目录结构; 2 ) 数据块与文件名的映射表; 3) 每个数据块副本的位置

#大数据
hadoop集群安装部署(一)

一、安装VM10+Ubuntu下载安装完成后,创建一个用户:xm二、下载安装JDK在线安装:sudu apt-get insatll jdk离线安装:先把离线包拷贝到/home 下当前用户文件夹下,然后执行命令安装。cd /home/xm/tar -zxvf jdk-8u45-linux-x64.tarmv jdk-8u45-linux-x64.tar解压完之后

#hadoop#集群
大数据学习笔记(四)

一、HDFS校验和用户希望在储存和处理数据的时候,不会有任何损失或损坏,HDFS提供两种校验:1.校验和 2.运行后台进程来检测数据块校验和写入数据节点验证读取数据节点验证恢复数据Localfilesystem类ChecksumfileSystem类1.写入数据节点验证Hdfs会对写入的所有数据计算校验和,并在读取数据时验证校验和。元数据

#大数据
到底了