logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CentOS7下搭建Gitlab

gitlab是一个基于git实现的在线代码仓库托管软件,一般用于在企业、学校等内部网络搭建专属git仓库,越来越多的企业在使用gitlab作为项目托管仓库。一、安装配置依赖1、安装启动ssh服务sudo yum install -y curl policycoreutils-python openssh-server #安装sshsudo systemctl enable ss...

Elasticsearch之join关联查询

Elasticsearch提供了类似于SQL JOIN的关联查询,通过has_child/has_parent可以实现一对多关系的父子表数据查询。但是其损耗也是比较大的,在使用的时候要根据分片数量的多少和预估数量量级的大小,提前做好性能测试

文章图片
#elasticsearch#大数据
ElasticSearch的term多条件与terms多值查询

一次查询多个字段,每个字段对应一个值。如查询条件属性plan_id、sku_id,值分别为:11、121、json请求格式如下。

#elasticsearch#搜索引擎#java
elasticsearch7常见查询(term、match、bool、filter、match)

一、精准查询termterm是代表完全匹配,即不进行分词器分析,文档中必须包含整个搜索的词汇1、term单值字段只有一个值时候,用term关键词查询查询biz_id值为1909190023901225的记录curl -XGET http://192.168.1.73:9200/xyerp/order/_search -H 'Content-Type: application/...

junit单元测试mock私有private方法和静态static方法

org.powermock.api.mockito.PowerMockito更强大,支持private和protected方法的mock。org.mockito.Mockito功能有限,不能mock 私有private、受保护的protected方法。利用PowerMockito来mock私有方法需要mock。

#单元测试
presto中常见字符串函数操作

1、字符串截取substrpresto是这样用的:substr(string,start,length)→ varchar如:select substr('1599319787151',1,10)substr(string, start) → varchar如:select substr('1599319787151',1)而hive中:substr和substring都可以使用2、字符串首次出现

#hive#hadoop#数据仓库
hive与presto解析json中的字段值

hive解析get_json_object语法:get_json_object(string json_string, string path)→ varcharpresto解析json_extract_scalar语法:json_extract_scalar(string json, string json_path) → varchar语法:json_extract(string json,

文章图片
#hive#json#hadoop
什么是shuffle?shuffle的原理及过程

首先,我们给 Shuffle 下了一个明确的定义,在分布式计算场景中,Shuffle 指的是集群范围内跨节点、跨进程的数据分发。我们在最开始提到,Shuffle 的计算会消耗所有类型的硬件资源。具体来说,Shuffle 中的哈希与排序操作会大量消耗 CPU,而 Shuffle Write 生成中间文件的过程,会消耗宝贵的内存资源与磁盘 I/O,最后,Shuffle Read 阶段的数据拉取会引入大

#大数据
mysql日期范围查找(两个日期之间的记录)

最近常用到mysql的datetime类型的日期范围搜索,总结有以下几种方式可以,可以查询精确到秒之间的记录。字符串日期可以直接和datetime类型之间比较,无需转换,Mysql会将字符串类型日期转换成长整型数字进行比较,当然你也可以转换为同一类型后再比较mysql日期与字符串转换函数字符串转日期:STR_TO_DATE('2019-07-25 00:00:33', '%Y-%m-%d ...

gitlab介绍及使用

一、gitlab介绍前边介绍过CentOS7下Gitlab的安装,下边就要说说Gitlab的使用GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。GitLab由乌克兰程序员DmitriyZaporozhets和ValerySizov开发,它由Ruby写成。后来,一些部分用Go语言重写,现今并在国内外大中型互联网公司广泛使用。...

暂无文章信息