解决HA模式下NameNode切换导致HMaster挂掉问题：在我们自己搭建大数据集群学习的时候，往往因为机器配置不够高，导致虚拟机卡顿，节点莫名其妙挂掉。在Hadoop的高可用集群下，机器配置不够两个namenode一直自动切换状态，导致了HBase集群的Hmaster节点挂掉。问题产生的原因：我们查看HBase的master日志：# 进入日志文件目录[root@hadoop001 ~]# cd

Maxwell的使用1、Maxwell的概述1.1 官网简介​This is Maxwell’s daemon, an application that reads MySQL binlogs and writes row updates as JSON to Kafka, Kinesis, or other streaming platforms. Maxwell has low operati

SparkStreaming状态操作和滑动窗口​Spark是以采集周期处理数据，可以做到秒级。因此统计的是当前周期的数据汇总，但有些场景我们需要统计累加数据，例如：当天登录人数累加，当天某个广告的点击量累计，按小时统计首次登录人数等。这里我们需要用到以前周期的数据，因此我们需要将周期内的统计结果保存起来，用于下个周期使用。其实，我们自己也可以使用Redis缓存类工具做手动保存。这里SparkStr