logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据工具之Superset

ApacheSuperset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。由于Superset能够对接常用的大数据分析工具,如Trino、Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具,应用于数据仓库的ADS!官网https。......

文章图片
#大数据
分布式事务解决方案实战

分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。本质上来说,分布式事务就是为了保证不同数据库的数据一致性。

文章图片
#分布式#rabbitmq#java
分布式架构的发展和演进之路

1、为什么要使用分布式架构1946年,世界上第一台电子计算机在美国的宾夕法尼亚大学诞生,它的名字是:ENICAC ,这台计算机的体重比较大,计算速度也不快,但是而代表了计算机时代的到来,再以后的互联网的发展中也有基础性的意义。计算机的组成是有五部分完成的,分别是:输入设备,输出设备,存储器,CPU里面有运算器和控制器,有一个冯诺依曼的模型非常形象的对象计算机的组成进行了描述,不过计算机也是有数据流

文章图片
#分布式
Redis缓存与数据库双写一致性解决方案

目录1、冤孽的诞生1.1 需求起因1.2 策略之争2、标准解决方案2.1 延时双删策略2.2 异步更新缓存(基于订阅binlog的同步机制)3 、基于binlog订阅实现步骤3.1 准备材料3.2 代码实现1、冤孽的诞生1.1 需求起因在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数

#redis#数据库#java
RabbitMQ高可用集群部署

目录1 、集群方案的原理2、RabbitMQ高可用集群相关概念3 、一般模式集群3.1 准备工作3.2 配置DNS域名解析3.3 配置集群启动4 、集群管理5 、RabbitMQ镜像集群配置6、负载均衡-HAProxy6.1 安装HAProxy6.2 配置HAProxy6.3 启动HAproxy负载7、Java代码测试负载均衡代理8、开启rabbitmq日志监控插件9、Keppalive虚拟IP漂

#分布式#rabbitmq
大数据工具之dbt

是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。一词较常用在数据仓库.是一个很不错的进行中的处理的工具,灵活简单,我们需要写的就是select 语句,剩下的dbt 帮助我们进行处理官网地址:https://docs.getdbt.com/............

#大数据#docker#容器
序列化、反序列化原理和Protobuf实现机制

(1)Java序列化是指把Java对象转换为字节序列的过程,而Java反序列化是指把字节序列恢复为Java对象的过程;(2)

#编程语言#java
大数据工具之Trino

从字面意思可以看到它支持的数据源应该是没有限制的,例如Hadoop、AWSS3、Alluxio、MySQL、Cassandra、Kafka、ES、Kudu、MongoDB、MySQL等等,一句话,就是在市面能看到的存储,它基本上都支持。Trino没有自己的存储,实现了存储与计算分离,而存储与计算分离的核心就是基于连接器的架构。连接器为Trino提供了连接任意数据源的接口,也可以自定义编程实现连接器

文章图片
#大数据#数据仓库
大数据工具之Superset

ApacheSuperset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。由于Superset能够对接常用的大数据分析工具,如Trino、Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具,应用于数据仓库的ADS!官网https。......

文章图片
#大数据
大数据工具之Trino

从字面意思可以看到它支持的数据源应该是没有限制的,例如Hadoop、AWSS3、Alluxio、MySQL、Cassandra、Kafka、ES、Kudu、MongoDB、MySQL等等,一句话,就是在市面能看到的存储,它基本上都支持。Trino没有自己的存储,实现了存储与计算分离,而存储与计算分离的核心就是基于连接器的架构。连接器为Trino提供了连接任意数据源的接口,也可以自定义编程实现连接器

文章图片
#大数据#数据仓库
到底了