数据的导出和导入都是针对大数据平台（HDFS,Hive,HBase）来定义的数据从MySQL到大数据平台----------数据导入数据从大数据平台到MySQL-----------数据导出一、数据导出（大数据平台---->Mysql）1.导出 HDFS数据到MySQLsqoop export \--connect jdbc:mysql://qyl01:3306/sqoopdb ..

主要功能： 监控rds运行情况，并发送到钉钉群里监控内容包括：rds 磁盘、内存、CPU等信息慢sql查询统计情况# -*- coding: utf-8 -*-# title:rdsInfo# description:获取rds相关信息# author:qianyulin# email:qianyulin777@163.com# date:2021/12/17 9:59 上午# version

1、数据仓库逻辑分层架构先来看数据仓库的逻辑分层架构： 分层名称可能不一样，但基本是都是这样想要看懂数据仓库的逻辑分层架构，先要弄懂以下概念数据源 : 数据来源，互联网公司的数据来源随着公司的规模扩张而呈递增趋势，同时自不同的业务员，比如埋点采集，客户上报，API等。ODS层 : 数据仓库源头系统的数据表通常会原封不动地存储一份，这称为ODS层，ODS层也经常会被称为准备层。这一层做的工作是贴源，

1、数据仓库逻辑分层架构先来看数据仓库的逻辑分层架构： 分层名称可能不一样，但基本是都是这样想要看懂数据仓库的逻辑分层架构，先要弄懂以下概念数据源 : 数据来源，互联网公司的数据来源随着公司的规模扩张而呈递增趋势，同时自不同的业务员，比如埋点采集，客户上报，API等。ODS层 : 数据仓库源头系统的数据表通常会原封不动地存储一份，这称为ODS层，ODS层也经常会被称为准备层。这一层做的工作是贴源，

1、问题使用start-all.sh 启动hdfs和yarn集群 ，启动后发现resourcemanager没启动，查看日志报错：2020-06-01 09:42:21,280 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.AdminServ

1 元数据介绍1、元数据是什么?      描述数据的数据如果我们要描述清楚一个实际的数据，以某张表为例，我们需要知道表名、表别名、表的所有者、数据存储的物理位置、主键、索引、表中有哪些字段、这张表与其他表之间的关系等等。所有的这些信息加起来，就是这张表的元数据。2、元数据管理，是数据治理的核心和基础元数据就相当于是所有数据的一张地图。在这张关于数据的地图中，我们可以知道：我们有哪些数据？数据分布

一、JVM简介         jvm英文全称： Java Virtual Mathine(java虚拟机)         jvm世界观：java对象在jvm里的生老病死         jvm一样也是通过在实际的计算软件虚拟出来，用来模拟一套完整的运行平台        作用：是作为java编译器和不同平台之间的解释器，jvm根据不同的平台，将java编译后的目标代码（字节码）...

1、编写HBase工具类package HBaseDao;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.client.HBaseAdmin;import org.apache.hadoop.hbase.client.HTable;import org.apache.hadoop....

一、kafka的介绍1、kafka的概述kafka最初是由Linkedin开发的一个机遇发布订阅的分布式的消息系统，由scala/java编写，并与2011年初开源kafka是一个分布式消息队列：具有生产者、消费者的功能。它提供了类似与JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现kafka对消息保存时根据Topic进行归类，发布消息的称为producer，消息的接...

Producer : 消息生产者，就是向Kafka broker 发消息的客户端。下面将从producer的分区策略，数据可靠性保证、Exactly Once、Producer API 来进行介绍。1、分区策略1）分区原因方便在集群中扩展（相当于负载） ：每个Partition 可以通过调整以适应它所在的机...