
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
问题场景描述1机器A可正常上网,但机器B无法连接网络?2机器A能访问机器B,但机器B无法访问机器A?3如何批量修改100台设备的相同配置参数?4使用IP地址可正常访问,但通过主机名无法访问?5机器A发送数据至机器B,但机器B未收到?这些都是大数据集群运维中经常遇到的网络与通信问题。而"大数据运维师"的职责,就是在集群出现无数问题的情况下,保证业务不停机、正常运转。图1 运维师职责。
在大数据的道路上,让我们一起成长!本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
在大数据领域,Hadoop 的诞生解决了海量数据存储(HDFS)和计算(MapReduce)的问题。但对于大多数数据分析师和熟悉 SQL 的业务人员来说,编写复杂的 MapReduce Java 代码是一件痛苦且低效的事情。能不能只写 SQL 就能分析 PB 级的数据?于是,Hive应运而生。本文将通俗易懂地带你了解 Hive 的本质、架构、使用场景以及它和大数据生态的最新关系。Hive 是什么?
你可以把它想象成一个“软件超市”,只要告诉它你要安装什么软件(比如 Java、Python),它就会自动从网上的“仓库”里下载并安装好,还会顺便把依赖的其他小工具一起装上。:Ambari Server 会通过 SSH 连接到刚才指定的机器,自动下载并安装 Ambari Agent,然后 Agent 会向 Server 注册。对于初学者来说,Ambari 的界面更加友好,非常适合入门学习。:Amba
在大数据领域,Hadoop 的诞生解决了海量数据存储(HDFS)和计算(MapReduce)的问题。但对于大多数数据分析师和熟悉 SQL 的业务人员来说,编写复杂的 MapReduce Java 代码是一件痛苦且低效的事情。能不能只写 SQL 就能分析 PB 级的数据?于是,Hive应运而生。本文将通俗易懂地带你了解 Hive 的本质、架构、使用场景以及它和大数据生态的最新关系。Hive 是什么?
是Apache软件基金会的顶级项目,官网描述为:"致力于开发和维护实现高度可靠的分布式协调的开源服务器"简单来说,ZooKeeper是一个为分布式应用提供一致性服务的协调工具。它的设计目标是将复杂且容易出错的分布式一致性服务封装起来,提供简单易用的接口。典型应用场景Hadoop:NameNode HA(高可用)、YARN资源调度HBase:Master选举、元数据管理Kafka:Broker注册、
是Apache软件基金会的顶级项目,官网描述为:"致力于开发和维护实现高度可靠的分布式协调的开源服务器"简单来说,ZooKeeper是一个为分布式应用提供一致性服务的协调工具。它的设计目标是将复杂且容易出错的分布式一致性服务封装起来,提供简单易用的接口。典型应用场景Hadoop:NameNode HA(高可用)、YARN资源调度HBase:Master选举、元数据管理Kafka:Broker注册、







