1.使用maven解决依赖<dependency><groupId>com.github.pagehelper</groupId><artifactId>pagehelper</artifactId><version>3.4.2&

ClickHouse提供了原生的命令行客户端clickhouse-client来操作ClickHouse。clickhouse-client可以在交互和非交互（批处理）模式下使用。交互模式下，一次登录，可以执行多次查询。一般用不到，要查询数据直接用客户端软件就行了，如DBeaver。非交互模式一般用于使用脚本执行查询语句。使用方式clickhouse-client [参数]配置参数可以通过两种方式

以下所有都是基于Flink 1.12.0版本Flink JDBCSink的使用flink提供了JDBCSink方便我们写入数据库，以下是使用案例：pom依赖需要引入flink-connector-jdbc的依赖。另外，我这里是写入mysql，所以还引入了mysql的驱动包<dependency><groupId>org.apache.flink</groupId&gt

文章目录数据仓库的定义？数据仓库和数据库的区别？如何构建数据仓库？什么是数据中台？数据中台、数据仓库、大数据平台的关键区别是什么？基础能力上的区别业务能力上的区别大数据的一些相关系统？如何建设数据中台？数据湖的理解？数仓最重要的是什么？概念数据模型、逻辑数据模型、物理数据模型概念数据模型CDM逻辑数据模型LDM物理数据模型PDMSCD的常用处理方式？元数据的理解？技术元数据业务元数据元数据管理系统

Kafka中topic的每个分区可以设置多个副本。如果副本数为1，当该分区副本的leader节点宕机后，会导致该分区不可用。故需要设置多副本来保证可用性。实际项目中，存在项目初期创建了副本数为1的topic，但是后期又需要扩大副本数的场景。通常不能直接删除topic重建，可以通过如下操作实现。

前言项目采用Flink、Kafka、Clickhouse的实时数仓架构，数据由Kafka接入，经过Flink处理，写入Clickhouse。初期直接由Flink写入Clickhouse，经常会出现分区太多合并不来等意外情况，效果不是很好。而且数据也需要共享到其他地方，故直接写入CK对我们来说不是很好的选择。于是先将数据写入Kafka，之后由Kafka对数据进行分发。从Kafka写入CK有很多种方法

使用Kafka以字节数组的形式传输文件最近遇到解析大量小文件的需求，之前都是将文件放到HDFS，然后读取进行解析。由于都是小文件且文件量很多，所以不想使用HDFS，于是采用Kafka来做中间件，效果还不错，特此分享。原理是将文件以字节流的形式读入字节数组中，将字节数组发送到Kafka，供下游消费。适用于海量小文件的处理。实现生产者package com.upupfeng.kafka;import

获取毫秒值date不支持直接获取毫秒值，需要使用纳秒转为毫秒。nowNs=`date "+%s%N"`echo $nowNsnowMs=`expr $nowNs / 1000000`echo $nowMs获取秒时间戳nows=`date +%s`echo $nows将秒转为时间time=`date -d @1625153358`echo $time格式化时间为指定格式# 将时间转为"YYYY-mm

ClickHouse提供了原生的命令行客户端clickhouse-client来操作ClickHouse。clickhouse-client可以在交互和非交互（批处理）模式下使用。交互模式下，一次登录，可以执行多次查询。一般用不到，要查询数据直接用客户端软件就行了，如DBeaver。非交互模式一般用于使用脚本执行查询语句。使用方式clickhouse-client [参数]配置参数可以通过两种方式

详解Prometheus告警的流程，解释相关时间参数的配置。