logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

分享一个全新的轻量级JDBC读写分离(postgre, gaussdb主备数据库访问)方案(不用Sharding-jdbc)

分享一个全新的轻量级JDBC读写分离(主备数据库访问)方案由于国产替代,很多项目转而使用云数据库,为了可靠性,一般会采用一主多备的方案,这时JDBC访问数据库,就需要数据源支持读写分离,把写操作落到主库,读操作落到备库上去

文章图片
#数据库#java#spring
datasophon安装hive3.1.3手记

显然是包冲突了,当时搞了好久才搞好的,忘记哪个包修改了。正常运行的包我放百度网盘了。

#大数据#hive
终极解决:SpringBoot, shardingsphere 启动报错Failed to determine a suitable driver class

SpringBoot, shardingsphere, 用Druid做连接池,启动一直报错:Description:Failed to configure a DataSource: no embedded datasource could be configured.Reason: Failed to determine a suitable driver classAction:Conside

mysql导出csv中字段里有换行符的处理办法及hive导出处理办法

mysql命令行导出csv文件时,若字段里有换行符,输出的文件就会在换行符前面加一个反斜杠,这种非标准的csv导入到excel也乱行了。网上查了好多文章,都建议在相应的字段上加replace函数,把换行符替换成特殊标记,这显然是非常笨的做法,无法通用,特别是无法预测哪个字段会有换行符的。2、用sed把Csv中“+换行符”替换成“换行符”这时,再用excel打开,就不会有乱行的问题。1、导出csv时

#mysql#hive#数据库
datasophon安装ranger-plugin-hbase

datasophon1.2.1没有带ranger-plugin-hbase,所以只能自己编译,但你以为编译就行了,其实问题还是很多,我坑了好久,运行总是各种classnotfound, 不停的在网上找包,终于搞定了,现分享一下,还需要手动补充的包:

#大数据#hbase#hadoop
hbase突发故障:PleaseHoldException: Master is initializing 解决办法

再把zookeeper中/hbase删除,问题解决了。按网上说的,删除hdfs上/hbase目录,无效。

#hbase#数据库#大数据
dbEaver连接hbase,各种问题的终极解决

3、复制 cp phoenix-server-hbase-2.4-5.2.1.jar /opt/datasophon/hbase/lib/网上有不少文章,但基本都不行,主要还是hbase版本和phoenix版本的问题,经我测试,如下方法保证能连接成功。url模板:jdbc:phoenix:{host}[:{port}]/hbase。2、解压phoenix-hbase-2.4-5.2.1-bin.t

#hbase#数据库#大数据
另类解决方案(不是权限的事)Apache(httpd) 报错You don‘t have permission to access xxx /on this server

在一个Kylix系统(应该是Redhat/Centos改版)的httpd服务器的文档目录下新增加了一个文件,权限也都设置成了644,结果从浏览器访问时,报错:Apache(httpd) 报错You don’t have permission to access /on this server. 网上搜了一下,都是说权限问题,可以,同一目录下其它文件,权限完全一样,就是这个文件不行,其它都正常,而且

文章图片
#apache
redis性能测试报告结果

redis性能测试1. 环境配置:2. 测试准备:2.1 每服务器一个Redis的结果:2.2 每服务器两个Redis的结果:3. 结论:由于项目需要,要查询一个数量巨大的键值对,数据量大约6亿。先是在内存中用hashmap,虽然速度很快,但数据量不到1亿就直接死机了,而且无法持久,每次重新加载,也不合理。于是就想到了redis。测试方法:1. 环境配置:机器用途配置数量...

文章图片
#redis
hive分区表临时加载日批数据文件

源系统每日上传一个csv数据文件到数据中台指定目录,数据中台用hive表进行ETL工作。其它结构性数据文件CSV, JSON。

#hive#hadoop#数据仓库
    共 50 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择