logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据平台迁移相关

一、zk法一:扩展zk节点法二:zkcopy。若数据一直在变,那么有可能要停集群。分钟级别可接受二、hdfshadoop自带的远程拷贝工具,distcp。一个map处理一个文件。可指定map数量。可事务也可非事务。一般会执行两边,第二遍加-update,再合适一遍(ok就skip)。是否同步权限也可设置不能在线做三、hbasereplication:灾备,备...

ZK自动清理日志

在使用zookeeper过程中,我们知道,会有dataDir和dataLogDir两个目录,分别用于snapshot和事务日志的输出正常运行过程中,ZK会不断地把快照数据和事务日志输出到这两个目录,并且如果没有人为操作的话,ZK自己是不会清理这些文件的,需要管理员来清理,这里介绍4种清理日志的方法。在这4种方法中,推荐使用第一种方法,对于运维人员来说,将日志清理工作独立出来,便于统一管理也更可..

到底了