logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Apache Druid 从Kafka加载数据 -- 全流程分析

目录一、Kafka 创建topic、生产者二、向kafka生产数据三、Apache Druid 配置DataSource 数据源1) Start2) Connect3) Pase Data4) Pase Time5) Transform【可跳过】6)Filter 【可跳过】7)Configure Schema【重点配置】8)Partition9) Tune10) Pulish11) Edit Js

#大数据#kafka
Flink实战 —— 读取Kafka数据并与MySQL数据关联【附源码】

需要导入mysql驱动<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.44</version></dependency>mysql建立表及插入数据D

#大数据
Hive SQL 小表与大表Join 原理与实操

在数据开发时,经常遇到需要将大表某些暗文翻译成明文,正常的做法是将暗文与明文通过维度建立起映射关系,一般在数据分析时通过与维度进行join 关联。但往往 join的话,发现运行效率慢、耗时过长、甚至连接操作会发生OOM。本文就是通过介绍map join 解决小表与大表join 运行过慢的问题。

文章图片
#hive#sql
搞定Prometheus普罗米修斯监控系统

学习目录能够安装prometheus服务器能够通过安装node_exporter监控远程linux能够通过安装mysqld_exporter监控远程mysql数据库能够安装grafana能够在grafana添加prometheus数据源能够在grafana添加监控cpu负载的图形能够在grafana图形显示mysql监控数据能够通过grafana+onealert实现报警任务背景AAA公司是一家电

#大数据
Flink 写数据到ClickHouse

目录一、导入clickhouse jdbc 依赖二、编写 Flink 写入ClickHouse代码三、创建ClickHouse 表四、运行向localhost,7777端口发送数据,并启动Flink应用程序五、查询ClickHouse 数据结果,验证数据是否写入成功一、导入clickhouse jdbc 依赖<!-- 写入数据到clickhouse --><dependency&

#flink#大数据
创建clickhouse 分布式表方式 及 分布式表数据增加、更新、删除、查询

创建clickhouse 分布式表方式 及分布式表数据增加、更新、删除、查询1、建表语句(1)、本地表:分别在每个节点都建立本地表,或者使用 on cluster【在其中一个节点执行即可】CREATE TABLE city_local on cluster ck_cluster_name (`fdate` Int64,`city_code` Int32,`city_name` String,`to

#大数据
ClickHouse原理及使用

一、ClickHouse 概述1.1 什么是ClickHouseClickHouse 是俄罗斯的 Yandex 于2016年开源的列式存储数据库(DBMS),主要用于在线分析处理查询(OLAP),能够使用SQL 查询实时生成分析数据报告。1.2 什么是列式存储以下面的表为例:IdNameAge1张三182李四223王五34采用行式存储时,数据在磁盘上的组织结构为:好处是想查某个人所有的属性时,

#大数据
到底了