Hbase-之架构设计（schema design）Hbase架构设计主要是你设计表和模型的时候要做的事，你得清楚～～1 前言当前主流的bigtable有多种，目前这里只举3个栗子Google BigtableHypertable（开源）Hbase（开源）Hypertable和Hbase实际上都是在Google Bigtable基础上衍生出来的产物，其中Hypertable与Google Bigt

Flink-之如何使用Table&SQL API1 maven依赖首先通常需要引入以下依赖。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

Flink-TableAPI & SQLAPI如何使用TableAPI1.首先引入相关的table API依赖<dependency><groupId>org.apache.flink</groupId><artifactId>flink-table_2.11</artifactId><versio...

sqoop-之MySQL到HDFS(LZO)的脚本编写与简单实践1 连接数据库#sqoop help#sqoop list-databases --helpsqoop list-databases --connect jdbc:mysql://shufang102:3306/ --username root --password 8888882 sqoop importsqoop import指令

Springboot的分布式应用在分布式系统中，国内常用的组合有Dubbo+Zookeeper，而spring推荐使用全栈的Spring框架：Springboot与SpringCloud的组合；dubbo的特点：明确的rpc调用接口API出色的负载均衡表现自动服务注册和发掘高扩展性运行时阻塞优化可视化服务管理Dubbo&ZookeeperDubbo(rpc远程处理框...

Kafka-之集群节点数量与分区数量确定1 节点数量kafka的集群数量得按照实际业务需求来确定，主要是看kafka的生产者端消息的峰值生产速度,最好保证盈余一点。通常生产的集群节点数量确认遵循以下经验公式#kafka_broker_nums = 2*(峰值生产速度()*2/100) + 1# 假如峰值生产速度为50MB/s(通常是20+MB/s比较正常)kafka_broker_nums = 2

Flink-1.12 - 之kafka connector实践1 前言(消息更新模式)阅读之前可以先了解一下，动态table抓换成data stream的3种模式，这个在动态Table转换成DataStream或者写入外部系统的时候是有严格的约束的。Append Mode一个只有Insert操作的动态表,才能转换成Append-only stream（或写入到支持AppendMode的外部系统如：

数据治理概念