logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ZooKeeper-数据结构(Znode)

Znode 是 ZooKeeper 数据模型中的基本数据节点,类似于文件系统中的文件或目录。它以树形结构存储数据,并可以包含子节点。每个 Znode 都有一个唯一的路径,用于标识其在 ZooKeeper 树中的位置

文章图片
#zookeeper#分布式#云原生 +4
ZooKeeper-案例(注册中心)

这里设计了2个服务,服务a和服务b,他们之间有调用关系,但是他们默认不知道对方的地址。

文章图片
#zookeeper#python#分布式 +4
Linux基础软件-时间同步chrony

在时间同步领域里面,不仅有ntp,还有chrony,而且chrony还是默认自带的软件,功能基本都一致的,具体选啥,就看个人对那个软件的更熟悉了。

文章图片
#linux#运维#服务器
Hadoop HDFS-ZKFailoverController(ZKFC)详细介绍

前面3个小节,我们介绍了单机情况下的HDFS的3个组件,其中nn和dn无论单机还是集群都是需要的,而2nn则只在单机下才有用,后面几个我们将介绍高可用集群模式涉及到的几个组件:JournalNode,ZKFailoverController(ZKFC),本小节介绍:ZKFC。

文章图片
#hadoop#hdfs#大数据
Hadoop HDFS-高可用集群部署

前面介绍高可用集群部署的几个组件,本小节就以常见的3节点来搭建一个高可用的HDFS集群。基于下面的规划来实现(实际为了简单,这里的ZooKeeper使用的单节点)。由于进程比较多,所以我这里给了每台机器8G内存,实际4G应该也可以。

文章图片
#hadoop#hdfs#大数据
Hadoop HDFS-高可用集群验证

上个小节我们部署了3个节点的HDFS高可用集群,本小节我们就来介绍各个组件是怎么来实现高可用的。

文章图片
#hadoop#hdfs#大数据
Hadoop HDFS-设计哲学(分块&副本)

在传统的Linux里面,我们受限物理磁盘,我们无法生成或者使用一个很大的文件,虽然我们可以通过命令对文件进行切割和组合(Linux进阶命令-split),但是这里的只是实现切割,如果要使用还得重新组合在一起,而不能实现计算或者使用的时候直接调用这个多个块文件。我们今天来讲解的HDFS就具有这个能力。

文章图片
#hadoop#hdfs#大数据
Hadoop HDFS-读写流程

当客户端需要向HDFS写入数据时,会经历以下步骤:

文章图片
#hadoop#hdfs#大数据
Hadoop HDFS-端口&web管理

我们的高可用集群部署完成以后,不同的进程会监听不同的端口,下面我们就来详细介绍下端口

文章图片
#hadoop#hdfs#前端
Hadoop HDFS-配额(Quotas)

HDFS作为一个类Linux的目录的树形目录,我们业务在使用HDFS的时候也会根据不同的应用放置在不同的目录,或者不同环境使用不同的目录,实际这个和ZooKeeper的目录结构结构类似。我们对单个目录的限制,就是我们要讲的配额内容。

文章图片
#hadoop#hdfs#大数据
    共 80 条
  • 1
  • 2
  • 3
  • 8
  • 请选择