logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据运维 | 项目一:大数据分布式集群搭建全攻略

问题场景描述1机器A可正常上网,但机器B无法连接网络?2机器A能访问机器B,但机器B无法访问机器A?3如何批量修改100台设备的相同配置参数?4使用IP地址可正常访问,但通过主机名无法访问?5机器A发送数据至机器B,但机器B未收到?这些都是大数据集群运维中经常遇到的网络与通信问题。而"大数据运维师"的职责,就是在集群出现无数问题的情况下,保证业务不停机、正常运转。图1 运维师职责。

#大数据#分布式
大数据运维:分布式集群基础配置全攻略

在大数据的道路上,让我们一起成长!本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

#大数据
如果学校图书馆有 1000 万本书,该怎么找资料?—— 给中学生的大数据科普:Hive 是什么

在大数据领域,Hadoop 的诞生解决了海量数据存储(HDFS)和计算(MapReduce)的问题。但对于大多数数据分析师和熟悉 SQL 的业务人员来说,编写复杂的 MapReduce Java 代码是一件痛苦且低效的事情。能不能只写 SQL 就能分析 PB 级的数据?于是,Hive应运而生。本文将通俗易懂地带你了解 Hive 的本质、架构、使用场景以及它和大数据生态的最新关系。Hive 是什么?

#大数据#hadoop#hive
Ambari 大数据环境搭建指南 —— 从原理到实战

你可以把它想象成一个“软件超市”,只要告诉它你要安装什么软件(比如 Java、Python),它就会自动从网上的“仓库”里下载并安装好,还会顺便把依赖的其他小工具一起装上。:Ambari Server 会通过 SSH 连接到刚才指定的机器,自动下载并安装 Ambari Agent,然后 Agent 会向 Server 注册。对于初学者来说,Ambari 的界面更加友好,非常适合入门学习。:Amba

#大数据#ambari#hadoop
如果学校图书馆有 1000 万本书,该怎么找资料?—— 给中学生的大数据科普:Hive 是什么

在大数据领域,Hadoop 的诞生解决了海量数据存储(HDFS)和计算(MapReduce)的问题。但对于大多数数据分析师和熟悉 SQL 的业务人员来说,编写复杂的 MapReduce Java 代码是一件痛苦且低效的事情。能不能只写 SQL 就能分析 PB 级的数据?于是,Hive应运而生。本文将通俗易懂地带你了解 Hive 的本质、架构、使用场景以及它和大数据生态的最新关系。Hive 是什么?

#大数据#hadoop#hive
ZooKeeper分布式协调服务详解:从原理到实战部署

是Apache软件基金会的顶级项目,官网描述为:"致力于开发和维护实现高度可靠的分布式协调的开源服务器"简单来说,ZooKeeper是一个为分布式应用提供一致性服务的协调工具。它的设计目标是将复杂且容易出错的分布式一致性服务封装起来,提供简单易用的接口。典型应用场景Hadoop:NameNode HA(高可用)、YARN资源调度HBase:Master选举、元数据管理Kafka:Broker注册、

#分布式#zookeeper#云原生
ZooKeeper分布式协调服务详解:从原理到实战部署

是Apache软件基金会的顶级项目,官网描述为:"致力于开发和维护实现高度可靠的分布式协调的开源服务器"简单来说,ZooKeeper是一个为分布式应用提供一致性服务的协调工具。它的设计目标是将复杂且容易出错的分布式一致性服务封装起来,提供简单易用的接口。典型应用场景Hadoop:NameNode HA(高可用)、YARN资源调度HBase:Master选举、元数据管理Kafka:Broker注册、

#分布式#zookeeper#云原生
到底了