logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

clickhouse复现&修复 结构需要清理 错误 structure need clean

在工作过程中,偶然发现clickhouse有时会出现数据目录结构需要清理的问题,但是很难复现,经过不断尝试,将clickhouse安装在设备上,然后写了一个程序持续插入clickhouse数据,然后突然拔掉设备的电源,可以复现此类错误,试验了五次,有两次出现了这个错误。在系统启动时,检查是否存在有问题的文件夹,有的话将其重命名,这样clickhouse可以正常启动,但是会丢失部分日志。

文章图片
#clickhouse
java项目导入maven支持

maven是项目管理工具,用来管理项目引用的外部包和进行项目打包的工作,极大地方便编程工作。原先项目结构:2.将已有的pom文件复制到项目中后的项目结构:3.pom文件基本内容xml version="1.0" encoding="UTF-8"?>xmlns="http://maven.apache.org/POM/4.0.0"

#java#maven
mongodb内存使用率过高问题排查

1.在生产环境中,若不限制moongo对内存的使用,会导致mongo集群内存使用率飙升。2.物理内存和虚拟内存区别物理内存和虚拟内存:http://c.biancheng.net/view/6105.html物理内存:真正的内存虚拟内存:磁盘空间虚拟出的内存3.内存飙升的解决方法通过设置 config, shard cachesize的大小,限制mongo对内存的使用率4.mongo命令:1.mo

clickhouse优化记录

四、查询group by order limit时,如果group by的key distinct值比较多,且key的长度较长,可能总是会内存溢出,此时考虑从产品层面,解决这个问题。比如表的结构是 order by(id, name, age)时,当order by id desc limit 100的情况下,可以使用到此索引,加快查询。在大数据量的情况下,如果查询语句中,可以使用分区键来进行查询

文章图片
#clickhouse
maven上传别人已经打好的jar包到自己到maven私服

1.解压jar包,查看jar包的groupId、artifactId、version 信息2.上传jar包mvn deploy:deploy-file -Dmaven.test.skip=true-Dfile=-DgroupId=-Dversion=-Dpackaging=jar-DrepositoryId=maven-public-Durl=url为自己...

文章图片
#maven#jar#java
maven添加外部依赖包

一.确定你想添加的外部包,比如我这里想在maven中添加hive-jdbc的外部包依赖二.http://mvnrepository.com/  搜索你想要添加的外部包的关键词即可,比如我此处搜索hive三.选择你想要添加的外部包,进入选择最新的版本,复制如下图所示的内容    org.apache.hive    hive-jdbc    2.1.1

postman设置环境变量,实现一套接口根据选择的环境去请求不同的url

一个系统,有本地,开发,测试,生产等不同的环境,如果写不同的url配置多套会比较麻烦,可以设置不同的环境实现不同的url之间的切换。配置之后如下:第一步:第二步: 添加环境变量ps::不同的环境设置的变量名称要一致哦第三步:更改postman请求url的方式为变量+api方式

postman设置环境变量,实现一套接口根据选择的环境去请求不同的url

一个系统,有本地,开发,测试,生产等不同的环境,如果写不同的url配置多套会比较麻烦,可以设置不同的环境实现不同的url之间的切换。配置之后如下:第一步:第二步: 添加环境变量ps::不同的环境设置的变量名称要一致哦第三步:更改postman请求url的方式为变量+api方式

clickhouse一直重启,日志提示structure needs cleaning

发现测试环境的clickhouse一直重启,日志报错structure needs cleaning,进入clickhouse的数据目录,执行命令find ./ -name aaa,发现确实存在文件夹损坏的情况。通过重命名损坏文件夹,clickhouse可以正常启动。

文章图片
#clickhouse
milvus数据库安装

是一款开源的。如果说传统数据库(如 MySQL)是为“数字”和“文本”设计的,那么 Milvus 就是专为(图片、视频、语音、自然语言)设计的“搜索引擎。

#数据库#milvus
    共 30 条
  • 1
  • 2
  • 3
  • 请选择