一、什么是数据治理？维基百科：数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。笔者认为：所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段，进行数据的控制，以提升数据质量进而提升数据变现的能力。二、为什么需要数据

scala语言来源于java,scala以java的虚拟机（JVM）为运行环境，scala源码(.scala)会编译成.class文件。两种语言之间有很多相似的地方，在一些语法上有些明显区别主要如下：1 beak和continue语言breakcontinueScala函数式分格If else 或循环守卫Java关键字，break关键字：continue2 函数返回值形式语言返回格式Scala返回

我们在写C和C++代码的时候,需要自己去申请内存空间，并且管理好内存空间，一旦某些内存空间我们在使用结束后没有主动的去释放，就会造成内存泄漏的风险。但是在写java程序的时候我们不需关心主动去释放内存空间，这是因为java虚拟机有一套比较完善的垃圾回收机制又叫GC(garbage collection)机制1.什么是垃圾？object o = new object();o = null;首先我们可

什么是类加载机制呢？java虚拟机将编译后的class文件加载到内存中，进行校验、转换、解析和初始化，到最终的使用。这就是java类加载机制；下面就开始今天的内容：1、类加载的生命周期：加载（Loading）、验证（Verification）、准备（Preparation）、解析（Resolution）、初始化（Initialization）、使用（Using）、卸载（Unloading）等阶段，

今天来对比下现在市面上开源的，用的比较多的两个调度系统airflow和azkaban的差别。直接看表格吧：概述Xxl-Job简述XXL-JOB是一个国内轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。基于Java技术栈，调度中心与执行器通信基于作者另一个开源项目xxl-rpc，采用自建注册中心，整体架构简单明了，易于上手。xxl-job架构图项目地址Github：xu

01数据架构的起源追根溯源是一个数据人的底层思维逻辑，因此，我们先说一说数据架构的起源（来源也行，一个意思）。其实，我们现在IT行业经常说的软件架构、系统架构、XX架构的核心思想都是从建筑行业学来的，架构的英文单词“Architecture”其本身就是“建筑学、建筑物、结构构造”的意思。在DAMA-DMBOK2中指出“数据架构”是“企业架构”的一个重要的组成部分。而提到企业架构，它是起源于IBM公

DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX设计理念DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的

一、消息传递语义：三种，至少一次，至多一次，精确一次1、at lest once：消息不丢，但可能重复2、at most once：消息会丢，但不会重复3、Exactly Once：消息不丢，也不重复。保证消息不丢、消息不重复消息不丢：副本机制+ack，可以保证消息不丢。数据重复：brocker保存了消息之后，在发送ack之前宕机了，producer认为消息没有发送成功进行重试，导致数据重复。数据

目录一. Flink CDC介绍二.Flink CDC 实操2.1 MySQL配置2.2 pom文件2.3 Java代码2.4 测试结果一. Flink CDC介绍CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：FlinkCDC其实和canal差不多，只不过就是flink社区开发的组件，用起来更方便一些。  Flink在1.11版本中新增了CDC的特性，简称 改