基本概念大数据生态系统里很多组件的命名都是某种动物，例如Hadoop是????，hive是????，zookeeper就是动物园管理者，是管理大数据生态系统各组件的管理员。zookeeper是经典的分布式数据一致性解决方案，致力于为分布式应用提供一个高性能，高可用，且具有严格顺序访问控制能力的分布式协调存储服务。应用场景维护配置信息Java编程经常会遇到配置项，例如数据库的user、passwo.

数据库的好处实现数据持久化存储使用完整的管理系统统一管理，易于查询数据的相关概念DB数据库（database） 存储数据的仓库，保存了一系列有组织的数据DBMS数据库管理系统（Database Management System）用于管理DB中的数据，数据库是通过DBMS创建和操作的容器。常见的数据库管理系统：MySQL、Oracle、 DB2、 SQL serverSQL...

首先进入root用户打开终端1.安装libaio库yum install -y -libaio2.用wget命令将mysql下载至本地opt文件夹下cd /optwget “https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.3-rc-linux-glibc2.12-x86_64.tar.gz”3.添加mysql组和mysq...

git:https://github.com/2020GetGoodOffer/test安装node和vue首先安装node.js，下载地址：node.js下好后.exe直接安装就行了，然后在命令行通过node -v查看是否安装成功然后初始化，通过node init完成，一路按回车就行然后设置一个镜像点，不然可能因为网速问题一直无法成功之后下载vuenpm install -g...

生产者消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程main 线程和 Sender 线程，以及一个线程共享变量RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。相关参...

Storm迁移flink主要问题：Storm通过自定义的Bolt类实现自己的业务逻辑，如何在flink中实现通过flink的ProcessFuction类实现，可以通过继承该类，在processElement方法中实现自己的业务逻辑。Storm按照业务类型分发数据处理的逻辑，如何在flink中实现通过flink的旁路输出特性实现，对原始的数据流按照某些分类标准分类，输出到不同的子数据流中处理。总体

Flink的旁路输出特性可以用来对数据进行分流，通过是通过创建一个流的标签（OutputTag），再利用这个OutputTag标签对象作为参数，调用初始/父级数据流的getSideOutput（OutputTag）方法获取子数据流。由于每个流标签都有一个id，因此不需要创建对象，只要流标签的id相同，其中的数据就相同。因此可以通过匿名内部类的形式来获取子数据流。例：对初始字符串进行数据分类，将字母

概述定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列什么是消息队列呢？例如在网站注册时，一般是同步的，当接收到短信后网页才会提示注册成功。如果使用消息队列就可以实现异步处理，发送短信和页面注册成功响应是异步的，不必等到发送了短信才会响应。可以参照下图来理解消息队列的作用：消息队列的优点：解耦允许...

工作流程如下图，topicA是一个3分区2副本的topic，2副本表示leader和follower加起来一共为2。注意leader和follower是不在一个broker的，即不在一台服务器，否则服务器故障时会一起挂掉，备份将没有意义。offset是每个分区独立的，而不是全局性的，如图可以看到每个分区中offset都是从0开始的。并且消费者组中的消费者不能消费同一个分区的内容。Kafka ...

Scala 语言学习笔记概述Scala 简介:Scala 是一门基于 JVM 的多范式编程语言，通俗的说：Scala 是一种运行在 JVM 上的函数式的面向对象语言，之所以这样命名是因为它的设计目标是：随着用户的需求一起成长。Scala 可被广泛应用于各种编程任务，从编写小型的脚本到构建巨型系统都能胜任。正因如此，Scala 得以提供一些出众的特性，例如：它集成了面向对象编程和面向函数式编程的各种