logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop HDFS-高可用集群部署

前面介绍高可用集群部署的几个组件,本小节就以常见的3节点来搭建一个高可用的HDFS集群。基于下面的规划来实现(实际为了简单,这里的ZooKeeper使用的单节点)。由于进程比较多,所以我这里给了每台机器8G内存,实际4G应该也可以。

文章图片
#hadoop#hdfs#大数据
Web服务器-Nginx流量镜像(Mirror)

在实际的业务环境中,为了验证新功能等操作,需要引入一定的流量进行测试。但是手工模拟流量很难模拟真实的生产环境。所以就衍生出来一个需求就是把生产流量引入测试环境,他就是我们今天要讲的流量镜像功能。

文章图片
#服务器#运维#nginx +1
代理服务器-Squid介绍和应用

前面我们在介绍Web服务器的时候,介绍过Nginx的正向代理,实际上如果要使用正向代理,一般不会使用Nginx来做,而是使用更专业的代理软件:Squid来实现。当然Squid实际上有很多功能,我们这里主要介绍他的正向代理(或者叫透明代理)。

文章图片
#运维#linux
Hadoop HDFS-ZKFailoverController(ZKFC)详细介绍

前面3个小节,我们介绍了单机情况下的HDFS的3个组件,其中nn和dn无论单机还是集群都是需要的,而2nn则只在单机下才有用,后面几个我们将介绍高可用集群模式涉及到的几个组件:JournalNode,ZKFailoverController(ZKFC),本小节介绍:ZKFC。

文章图片
#hadoop#hdfs#大数据
云计算&虚拟化-文本模式安装centos

文本安装系统,这个在实际运维中会较少用到。本小节内容需要对操作系统比较熟悉,而且对键盘操作比较熟悉才能更容易掌握该内容。

文章图片
#云计算
Hadoop HDFS-JournalNode(jn)详细介绍

前面3个小节,我们介绍了单机情况下的HDFS的3个组件,其中nn和dn无论单机还是集群都是需要的,而2nn则只在单机下才有用,后面几个我们将介绍高可用集群模式涉及到的几个组件:JournalNode,ZKFailoverController(ZKFC),本小节介绍:JournalNode。

文章图片
#hadoop#hdfs#大数据
云计算&虚拟化-kvm介绍&安装

我们在上一章介绍不同的虚拟化技术,就目前而言,kvm 已经成为绝对的主流,目前国内的云厂商的公有云还是私有云底层技术几乎都是kvm,所以我们也将重点讲解kvm相关技术。KVM(Kernel-based Virtual Machine)是一种基于内核的开源虚拟化技术,主要用于 Linux 系统。

文章图片
#云计算#linux#运维
云计算&虚拟化-kvm创建网桥(bridge)

创建网桥以后,我们创建的虚拟机才能加入服务器对应的局域网,然后直接对外提高服务,也可以有更多的灵活性。

文章图片
#云计算#运维#linux
云计算&虚拟化-kvm-虚拟机迁移(冷迁移&故障迁移)

虚拟机的迁移主要分三种:冷迁移,热迁移和故障迁移。冷迁移,主要指的是虚拟机在处于关机状态下的迁移。热迁移则说的是虚拟机在运行中的迁移。故障迁移则说的是虚拟机所在节点故障以后触发的迁移。

文章图片
#云计算#xml#linux +1
云计算&虚拟化-kvm-扩缩容内存&磁盘

磁盘扩容步骤:从宿主机扩容虚拟机的镜像文件(qcow2文件)从操作系统扩容分区从文件系统扩容文件系统磁盘操作属于高危操作,一定要慎重,要提前备份。

文章图片
#云计算#linux#运维
    共 39 条
  • 1
  • 2
  • 3
  • 4
  • 请选择