之前在docker重新搭建了hadoop，过了一段时间重新使用的时候，发现高可用的两个NameNode一直都是StandBy，然后强制一个hadoop dfsadmin -safemode leave退出Safe Mode。结果呢，发现竟然退出不了。于是查看namenode日志，发现如下错误20/04/27 03:25:12 WARN namenode.NameNodeResourceCheck.

日志服务器FlumeKafkaFlume->HiveFlink实时数仓

日志服务器FlumeKafkaFlume->HiveFlink实时数仓

首先说明这个错误的前提，我没有自己在虚拟机上搭建，因为华为送了服务器，我就直接在它的服务器上搭建了docker，弄了三个容器装了kafka，直接使用docker-compose搭建集群映射的端口就是这样子，但是呢，在IDEA连接kafka集群的时候首先连接IP:5000，5002，5004再连接返回的host.name =kafka1,kafka2，kafka3最后继续连接a...

最近做项目时使用到了Kafka，翻自己博客居然没有相关文章，这时写点文章复习复习，顺便深入理解一下基本操作。基本模型Kafka是大数据常用的消息中间件，是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。它的模型大概就是这个样子我们可以看到两个熟悉的角色Producer生产者Consumer消费者这两个是消息中间件里面常见的两个名词另外还有brok...

这里flume+kafka+Flink Cluster总体架构就是这个样子。我们将多个Tomcat Server的Web服务器，或者其他的网站服务器都看你而定，没台节点上都配置了Flume Agent，用来收集本地日志目录。然后在另一台节点配置了Flume Consolidation Agent，用来收集各个Web服务器的Flume Agent的数据，然后送入Kafka Cluster。然后K..

背景前几天思考了一个问题，在很多业务场景下，需要关注流量的来源或是某个业务哪个入口的流量最大，带来的效益最多，那么就涉及到流量的归因了。比如说，我是一个bilibili up主，那么我想知道我的某个视频到底是首页推荐的流量比较多，还是用户搜索带来的比较多。我觉得得分为两种情况应用埋点质量非常差的情况下，那么在一些APP或者H5发展之初，是不会太去注重埋点的质量，当流量密码时代到来了，才发现这是一个