logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

1.大数据架构技术 上——搭建分布式Hadoop集群

本文介绍基于Rocky Linux 10环境搭建Hadoop 3.4.3完全分布式集群的完整流程。涵盖HDFS与YARN两大核心组件的概念解析、系统规划、环境初始化。分别演示HDFS和YARN节点的部署、扩容与下线操作,包括数据平衡迁移和优雅退役流程。最后部署Hadoop NFS Gateway服务,通过代理用户机制和rpcbind映射实现HDFS的NFSv3协议挂载访问

文章图片
#大数据#分布式#架构 +4
2.大数据架构技术 中——搭建Zookeeper集群

本文介绍ZooKeeper 3.8.6集群的部署与管理。阐述ZooKeeper作为分布式协调服务在Hadoop生态中的定位,涵盖Leader、Follower、Observer三种角色的职责与选举机制,包含ZNode数据模型(持久/临时/顺序四种节点类型)、Watch监听机制和ZAB原子广播协议的核心原理,完整流程部署部分,以及验证部分演示客户端zkCli.sh的基本操作命令。集群管理部分对比Ad

文章图片
#大数据#架构#zookeeper +1
3.大数据架构技术 下——搭建kafka

本文介绍Kafka 4.1.2在KRaft模式下的集群部署。阐明核心角色变动,补充概念及其相互关系。部署部分基于Ansible编写playbook,通过Jinja2模板自动化生成server.properties和systemd服务文件,涵盖环境检查、安装、集群UUID生成、存储格式化、启动及健康检查的完整流程。同时提供手动部署的替代方案

文章图片
#大数据#架构#kafka +1
4.大数据高可用

本文介绍Hadoop HA集群的原理与QJM方案的完整搭建过程。架构层面包含HDFS和YARN的HA两部分,HDFS采用QJM方案通过JournalNode集群实现Active与Standby NameNode之间的editlog共享同步,配合ZKFC实现自动故障转移;YARN通过ZooKeeper实现ResourceManager的Active/Standby选举与状态恢复。详细规划五节点集群(

文章图片
#大数据#hadoop#hdfs +3
1.大数据架构技术 上——搭建分布式Hadoop集群

本文介绍基于Rocky Linux 10环境搭建Hadoop 3.4.3完全分布式集群的完整流程。涵盖HDFS与YARN两大核心组件的概念解析、系统规划、环境初始化。分别演示HDFS和YARN节点的部署、扩容与下线操作,包括数据平衡迁移和优雅退役流程。最后部署Hadoop NFS Gateway服务,通过代理用户机制和rpcbind映射实现HDFS的NFSv3协议挂载访问

文章图片
#大数据#分布式#架构 +4
xinference+deepseek-r1-distill-llama本地部署完整流程

Xinference+deepseek-r1-distill-llama本地部署完整流程,包含虚拟机创建、前置环境搭建(yum源更换、显驱安装、配置NVIDIA容器工具包、部署docker服务)、拉取Xinference镜像、下载并启动deepseek模型

文章图片
#pytorch#语言模型#docker +1
kubernetes存储卷

k8s支持的卷类型多种多样,在此只练习常用的,不常用以及已弃用的类型包括所有参数均可从官方手册中查找。

文章图片
#kubernetes#容器#云原生
kubernetes存储卷

k8s支持的卷类型多种多样,在此只练习常用的,不常用以及已弃用的类型包括所有参数均可从官方手册中查找。

文章图片
#kubernetes#容器#云原生
    共 11 条
  • 1
  • 2
  • 请选择