Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE, inode="/tmp/hadoop-yarn":hadoop:supergroup:drwx------在执行查询hql操作时，并不能进行mapreduce转换，并且报上面的...

日志服务器FlumeKafkaFlume->HiveFlink实时数仓

先来个小简例我们将本地文件的内容用flume搞到HDFS上面去。直接上配置文件吧# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# 我们Source定义了从本地文件secu...

Data Definition Laguange俗称数据定义语言。hive的DDL操作包括了一些基本的建表和一些基本命令操作基本操作查看数据库：show databases;使用某一个数据库：use tablename;查看某一个数据库的表：show tables;显示某一个表的列信息：desc tablename或者describe tablenam...

首先说明这个错误的前提，我没有自己在虚拟机上搭建，因为华为送了服务器，我就直接在它的服务器上搭建了docker，弄了三个容器装了kafka，直接使用docker-compose搭建集群映射的端口就是这样子，但是呢，在IDEA连接kafka集群的时候首先连接IP:5000，5002，5004再连接返回的host.name =kafka1,kafka2，kafka3最后继续连接a...

首先说明这个错误的前提，我没有自己在虚拟机上搭建，因为华为送了服务器，我就直接在它的服务器上搭建了docker，弄了三个容器装了kafka，直接使用docker-compose搭建集群映射的端口就是这样子，但是呢，在IDEA连接kafka集群的时候首先连接IP:5000，5002，5004再连接返回的host.name =kafka1,kafka2，kafka3最后继续连接a...

目录目录目录代码第一步，进入这个poll方法进入updateAssignmentMetadataIfNeeded方法CoordinatorBroker端：Consumer端：!coordinator.poll(timer)条件体会前不久，想写写kafka的consumer，就按照官方API写了下面这一段代码，但是总是打印不出东西。返回的reco...

State：State是指流计算过程中计算节点的中间计算结果或元数据属性，比如 在aggregation过程中要在state中记录中间聚合结果，比如 Apache Kafka 作为数据源时候，我们也要记录已经读取记录的offset，这些State数据在计算过程中会进行持久化(插入或更新)。所以Apache Flink中的State就是与时间相关的，Apache Flink任务的内部数据(计算数据.

最近做项目时使用到了Kafka，翻自己博客居然没有相关文章，这时写点文章复习复习，顺便深入理解一下基本操作。基本模型Kafka是大数据常用的消息中间件，是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。它的模型大概就是这个样子我们可以看到两个熟悉的角色Producer生产者Consumer消费者这两个是消息中间件里面常见的两个名词另外还有brok...

事务在mysql中说过事务，主要特性就是ACID，如下原子性：一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。一致性：在事务开始之前和事务结束以后，数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设规则，这包...