logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark通过jdbc方式读写ClickHouse

现在是2020年9月,由于目前还没有Spark整合ClickHouse的连接器,所以通过spark读写ClickHouse的方式只能是jdbc了,另外github上有个连接器,需要自己打包发布,感兴趣的可以研究下,地址https://github.com/wangxiaojing/spark-clickhouse以下是spark读写clickHouse的代码:/*读取*/def select(sp

#大数据
java连接phonix报错:KeeperErrorCode = NoNode for /hbase/hbaseid

我的phonix jdbc url连接参数值如下jdbc:phoenix:prod-bigdata-pc10:2181/hbase-unsecure可见我在url中已经指定了zk连接端口和hbase节点等信息,由于我是hdp环境,该环境的hbase在zk上建立的根节点为/hbase-unsecure,所以需要指定实际值,但是实际建立phonix连接时仍旧会到zk上找默认的/hbase节点,并且也发

#hbase#java#big data
FlinkSQL消费Kafka写入Hive表

flinkSQL消费kafka实时写入hive表

#hive#kafka#hadoop
kafka指定时间范围消费一批topic数据

public class JavaConsumerTool {/*** 创建消费者* @return*/public static KafkaConsumer<String, String> getConsumer(){Properties props = new Properties();props.put("bootstrap.servers", "127.0.0.1:9092")

#kafka#java#分布式
CDH完全卸载教程

适用于各版本CDH卸载1、停止集群

#大数据
暂无文章信息