logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【分布式数据库】使用HDFS底层文件进行HBase跨集群数据迁移

因为,我们这个A集群是kerberos 环境,B集群是不带kerberos环境,这里使用Distcp的方式。这里仅是为了迁移底层数据,所以选择那种方式都可以。客户集群机房迁移,我们部署的集群也要完成跨集群迁移hbase 表,这里选择迁移Hadoop底层数据来实现hbase的表迁移。从HMaster -web 可以看到表的 2 个Region 的状态为 Other Regions。如果是kerber

文章图片
#hbase
【分布式数据库】HBase快照SnapShot

Hbase的快照就是一分元数据的集合。SnapShot的实现不涉及到表的实际数据拷贝,仅仅拷贝一些元数据,如组成表的region信息,表的描述信息,表对应的HFile的文件引用等信息。快照可以在线完成也可以离线完成,可以利用快照完成表的备份。.........

文章图片
#hbase#hadoop#大数据
【Ambari】Docker 安装Ambari 大数据单机版本

1.1 部署 docker1.2 部署 docker-compose创建网络1.3 版本说明组件版本操作系统ambari2.7.4HDP3.1.4HDP-GPL3.1.4HDP-UTILS1.1.0.22JDK如下安装只做测试。二 、镜像构建启动2.1 系统镜像构建系统镜像构建2.2 安装包源镜像构建源镜像构建。

文章图片
#ambari#docker#hadoop +1
【ETL工具】Kettle 整合大数据平台(Hadoop、Hive、HBase)

目录一、Kettle整合Hadoop1、 整合步骤2、Hadoop file input组件3、Hadoop file output组件二、Kettle整合Hive1、初始化数据2、 kettle与Hive 整合配置3、从hive 中读取数据4、把数据保存到hive数据库5、Hadoop Copy Files组件6、执行Hive的HiveSQL语句三、Kettle整合HBase1、HBase初始化

文章图片
#hbase#hadoop#hive
【prometheus】监控MySQL并实现可视化

mysqld_exporter 是一个用于监控 MySQL 服务器的开源工具,它是由 Prometheus 社区维护的一个官方 Exporter。该工具通过连接到 MySQL 服务器并执行各种查询来收集关于 MySQL 服务器性能和状态的指标,并将这些指标暴露给 Prometheus 监控系统。总的来说,mysqld_exporter 是一个功能强大且易于使用的工具,可以帮助用户监控和诊断其 My

文章图片
#prometheus#mysql#数据库 +1
【可视化工具】kafka-manager配置及安装Kerberos(Ambari-HDP)认证

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager(已改名为 cmak)。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。

文章图片
【自动化】运维工具一Ansible Roles实战

之前介绍了ansible-playbook的使用方法,对于批量任务的部署和操作非常方便,但是耦合度比较高,不便于模块化、层次化的复用,为了层次性、结构化地组织playbook,我们可以使用roles来更加高效地组织playbooks;不同于 cp 或 scp 的一点是,使用 rsync 命令备份数据时,不会直接覆盖以前的数据(如果数据已经存在),而是先判断已经存在的数据和新数据的差异,只有数据不同

文章图片
#ansible
【自动化】运维工具一Ansible Playbook语法实战

Playbooks 是 Ansible的配置、部署、编排语言,他们可以被描述为一个需要希望远程主机执行命令的方案,或者一组IT程序运行的命令集合

文章图片
#ansible#自动化
【Linux】运维必须掌握的27道面试题

无引号:把内容输出出来,可能不会键含有空格的字符串,视为一个整体输出,如果内容中有命令、变量等,会先把变量、命令解析出来,然后输出最终内容,如果字符串中带有空格等特殊字符,则不能完整输出,需要改加双引号。sed取行,要特别注意sed -n 's###g' filename 的使用,sed的的功能可以记住正则表达式的一部分,其中,\1为第一个记住的模式即第一个小括号中的匹配内容,\2第二记住的模式,

文章图片
#linux#运维#服务器 +1
【自动化】运维工具-ansible入门(一)

目录一、ansible简介1.1ansible是什么?1.2 ansible特点1.3 ansible 架构图 二、ansible任务执行2.1 ansible任务执行模式2. 2 ansible 执行流程2.3 ansible 命令执行过程三、ansible配置详解3.1 ansible 安装方式3.2ansible程序结构 3.3ansible配置文件3.4 ansible 主机清单四、ans

文章图片
#ansible
    共 215 条
  • 1
  • 2
  • 3
  • 22
  • 请选择