logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

waterdrop1.x导入clickhouse分布式表-fitersql

接上一篇,最后留下的两个问题, 针对问题2:在不修改源代码的情况下,如何实现分布式表的本地hash方式写入?现在做一些尝试和验证。思路:waterdrop是可以进行多数据流程处理的,官方说明文档:配置示例3 : 一个灵活的多数据流程处理利用这个特点,可以配置多个output和多个fiter一一对应,在fiter中利用spark sql进行hash分流,注册N个临时表,然后对应N个output输出到

python之利用嵌套列表解析将sql查询结果同时写excel和txt文档

继昨晚写了一个利用列表推导式及嵌套列表写excel后,今天有写了一个从数据库中查询出结果,然后写入excel和txt中,主要的难点是利用嵌套列表继续,在一条语句中实现。折腾了老半天,终于实现,现将代码记录如下,并做简单分析。#!/usr/bin/env python#!/usr/bin/python3#coding=utf-8#pip3 install xlsxwriter,自动

python使用jdbc连接oracle数据库

想将一个python项目部署到生产服务器上运行,但是服务器上没有装oracle客户端,无法使用cx_Oracle包,所以想要使用jdbc来连接数据库,遂有了一下测试。python版本: C:\Users\Administrator>pythonPython 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul5 2016, 11:41...

grafana连接mysql时区问题

在用grafana连接mysql的一个视图展示数据时,出现grafana中的时间比数据库中的时候多8小时的问题,表现如下:视图结构:数据:grafana展示:从上两张图可以看到,数据库中1点钟的值是8,但是在grafana中展示的缺失9点钟的值是8,这是很典型的时区问题。尝试设置grafana中的时区。将时区从defualt改成第三个UTC后,展示结果如下...

kettle之数据库连接-Generic database连接hive(CDH版)

是因为驱动包的版本不对,因为我们连接的是cdh的hive,所以需要导CDH集群目录下拷贝hive的驱动包,一般在CDH/jars/hive-jdbc-1.1.0-cdh5.5.0-standalone.jar。包这个错是因为缺少hadoop-common包,也是到CDH目录下拷贝hadoop-common-2.6.0-cdh5.5.0.jar即可。版本:kettle7.1、hive-common-

文章图片
#hive
clickhouse集群模式配置

1、分布式集群常见方案方案特点方案一:MergeTree + Distributed1、无副本。2、无需zk。3、只能写本地表方案二:MergeTree + Distributed+集群复制1、写集群表。2、利用集群复制机制解决副本问题。3、无需使用zk方案三:ReplicatedMergeTree + Distributed1、写本地表,通过zk做副本分发。2、写本地表,读集群表。3、高度依赖z

#java#zookeeper#linux
到底了