
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Znode 是 ZooKeeper 数据模型中的基本数据节点,类似于文件系统中的文件或目录。它以树形结构存储数据,并可以包含子节点。每个 Znode 都有一个唯一的路径,用于标识其在 ZooKeeper 树中的位置

这里设计了2个服务,服务a和服务b,他们之间有调用关系,但是他们默认不知道对方的地址。

在时间同步领域里面,不仅有ntp,还有chrony,而且chrony还是默认自带的软件,功能基本都一致的,具体选啥,就看个人对那个软件的更熟悉了。

前面3个小节,我们介绍了单机情况下的HDFS的3个组件,其中nn和dn无论单机还是集群都是需要的,而2nn则只在单机下才有用,后面几个我们将介绍高可用集群模式涉及到的几个组件:JournalNode,ZKFailoverController(ZKFC),本小节介绍:ZKFC。

前面介绍高可用集群部署的几个组件,本小节就以常见的3节点来搭建一个高可用的HDFS集群。基于下面的规划来实现(实际为了简单,这里的ZooKeeper使用的单节点)。由于进程比较多,所以我这里给了每台机器8G内存,实际4G应该也可以。

上个小节我们部署了3个节点的HDFS高可用集群,本小节我们就来介绍各个组件是怎么来实现高可用的。

在传统的Linux里面,我们受限物理磁盘,我们无法生成或者使用一个很大的文件,虽然我们可以通过命令对文件进行切割和组合(Linux进阶命令-split),但是这里的只是实现切割,如果要使用还得重新组合在一起,而不能实现计算或者使用的时候直接调用这个多个块文件。我们今天来讲解的HDFS就具有这个能力。

当客户端需要向HDFS写入数据时,会经历以下步骤:

我们的高可用集群部署完成以后,不同的进程会监听不同的端口,下面我们就来详细介绍下端口

HDFS作为一个类Linux的目录的树形目录,我们业务在使用HDFS的时候也会根据不同的应用放置在不同的目录,或者不同环境使用不同的目录,实际这个和ZooKeeper的目录结构结构类似。我们对单个目录的限制,就是我们要讲的配额内容。








