logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据运维

核心逻辑:围绕 Hadoop 核心,衍生出数据存储(HBase、Hive)、数据采集(Flume、Sqoop)、计算引擎(Spark、Flink)、资源管理(YARN)、协调服务(ZooKeeper)等组件,形成完整的大数据技术栈。核心逻辑:Hadoop 是谷歌三篇论文的开源实现,核心由 HDFS(分布式存储)和 MapReduce(分布式计算)组成,特点是高容错、易扩展、低成本。核心逻辑:Had

文章图片
#大数据
Hadoop高可用技术综述

随着大数据时代的到来,Hadoop作为开源的分布式系统基础架构,已成为处理海量数据的核心平台。然而,传统Hadoop 1.x版本中存在单点故障问题,特别是NameNode的失效会导致整个HDFS集群不可用。本文基于Hadoop高可用(HA)技术,系统介绍了Hadoop分布式系统的基本概念、版本演进、HDFS高可用解决方案以及Hadoop 2高可用分布式部署实践,旨在为大数据运维人员提供全面的技术参

文章图片
#hadoop#大数据#分布式
ZooKeeper分布式协调详解

ZooKeeper是一个开源的分布式协调服务,由Apache维护。官网描述为“致力于开发和维护实现高度可靠的分布式协调的开源服务器”。它被广泛应用于Solr、Hadoop等分布式系统中,提供集群管理、配置维护、命名服务、分布式同步等功能。独立部署模式:单机运行,适用于学习基础功能。伪分布式模式:单台机器运行多个ZooKeeper实例,模拟集群,适用于开发测试。全分布式模式:多台机器部署,真正的集群

文章图片
#分布式#zookeeper#云原生
大数据运维

核心逻辑:围绕 Hadoop 核心,衍生出数据存储(HBase、Hive)、数据采集(Flume、Sqoop)、计算引擎(Spark、Flink)、资源管理(YARN)、协调服务(ZooKeeper)等组件,形成完整的大数据技术栈。核心逻辑:Hadoop 是谷歌三篇论文的开源实现,核心由 HDFS(分布式存储)和 MapReduce(分布式计算)组成,特点是高容错、易扩展、低成本。核心逻辑:Had

文章图片
#大数据
到底了