logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

jenkins在devops中遇到的问题和解决方式

以管理员身份登录Gitlab后,进入adminarea,点击菜单(首页顶层一行有个小扳手图标)点击进入,接着左侧菜单栏---->settings(设置)下一级---->network(网络)---->outbound requests expend(外发请求)前面打勾(□ Allow requests to the local network from web hooks and services

文章图片
#jenkins#devops#运维
【elasticsearch7.11】Elasticsearch7.11.1数据恢复和集群间数据迁移

rename_replacement将 rename_pattern 匹配成的索引按照rename_replacement设置进行重命名。具体流程是通过每日快照将指定索引数据恢复到一个新的索引,然后再所需要的数据进行迁移到指定索引中。数据被误删,需要恢复,恢复要求是 1、指定索引中的部分数据进行还原到某天。3、执行快照恢复,只针对单个索引数据进行恢复操作(请确保新索引不存在)1、通过索引生命周期已

文章图片
#elasticsearch
【elasticsearch7.11】elasticsearch7.11 字段排序 全解析

在使用过程中避免不了涉及到分词字段排序的请求接下来说一下,主要包括 排序分类和示例。前提1、要了解单字段 multi-fields2、时间或者Long 等类型不讨论3、text 类型分词字段 如果排序 需要设置“fielddata”: true4、请自行了解下 es官网sort 排序属性设置。

#elasticsearch
【redis】记录一次rediscluster 调用lua 脚本, 用于 list 批量获取

记录一次rediscluster 调用lua 脚本 用于 list 批量获取需求:用redis list 当作消息队列(原来的架构固定不能变更),需要增加消费速度改进方案的思想(不考虑业务逻辑变更优化,主要是原来的逻辑改不动,有些????):1、批量获取2、多线程消费改进中遇到的问题:1.批量获取问题 2、多线程问题 3、分布式问题解决方案:1、批量获取问题1)redis 6.2.2 版本前lis

文章图片
#lua#redis#数据库
【Elasticsearch7.11】关于elasticsearch(es)中查询minimum_should_match 参数的记录

2、分词器直接影响分词结果,可以设置不同的搜索分词器和文档分词器(或者通过fields 实现多分词器对文档分词,在搜索时指定分词器),如下。3、通过 _analyze 命令 查看分词结果,根据搜索内容分词和文档内容分词结果匹配是否至少匹配上2个不同的词语。1、搜索分词和文档分词匹配时,重复词语算作一个词语,也就是至少匹配到 查询分词词语中的2个不同的词语。直接上结论 :以"minimum_shou

文章图片
#elasticsearch
【K8S】【flink on k8s】 之flinkcdc

1)新建一个nodeport类型的service ,选择器和application-deployment-rest 保持一致,映射8081端口。1)k8s上能执行kubectl 命令的节点上创建自定义工作负载配置任务文件 flink-cdc-demo.yaml。2) 访问flink-web-ui service 对应的端口即可出现flink-web-ui界面。1、在k8s 上部署 flink-ku

文章图片
#kubernetes#flink#容器 +1
【kafka】记一次kafka 消费者组 offset被清除

偶然 通过 kafkatools 上发现一个 原来的消费组中提交的历史的offset 记录没有了,很明确的这个消费者组有过offset 提交记录。参考kafka 官网https://kafka.apache.org/documentation/#consumerconfigs。3、设置offset提交超时时间,如果超过这个时间未提交offset,则自动将上一次已提交的offset再提交一次。在低版

文章图片
#kafka#java#大数据
记一次 kibana ES 6.5.1 索引创建

用kibana 创建索引和mapping

【elasticsearch】es-sql中的一些查詢 sql 函数

ES-SQL 中可以写sql 进行数据查询 ,但是个别的查询sql 还是有一定的区别,以下记录一些实际用到的一些函数1、模糊查询非分词字段类型为keyword 的字段使用 like, 和mysql 数据库中的like 使用一样例如mobile like ’%keyword%‘分词字段类型为text 的字段使用 matchPhrase,对应es 中的 match_phrase例如name =matc

#sql#elasticsearch#mysql
【elasticsearch】ES去重查询实现

【代码】kibana上去重查询实现。

#elasticsearch#java
到底了