logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kafka根据时间戳消费数据并返回最近的十条

根据时间戳消费kafka topic数据并返回最近十条。

#kafka#java
method <init>()V not found解决

错误信息:java.lang.NoSuchMethodError: org.apache.flink.streaming.connectors.elasticsearch7.ElasticsearchSink: method <init>()V not found产生原因:method ()V not found这种原因就是没找到正确的无参构造方法:引用的类里面没有无参构造方法引用的类

#java#bug
ES写入四大模式:INDEX、CREATE、UPDATE、DOC_AS_UPSERT

四大模式区别:INDEX:这个模式下,可以采用es内部生成id的方式,使得每次写入都是新增数据,因为每一次的id都不同CREATE:需要指定id,如果id已存在,则该条数据写入失败(被丢弃)UPDATE:需要指定id,如果id已存在,覆盖原有数据UPDAET--OPTION: DOC_AS_UPSERT需要指定id,如果id已存在,以UPSERT的方式更新数据,而不是直接覆盖原有数据。Java A

#elasticsearch
记录mysql中的group by错误

错误信息:Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregate报错原因是mysql设定的mode含有 ONLY_FULL_GROUP_BY,所以我们只要更改mode就可以了。修改方式有两种方法一:通过命令行修改sql_mode属性,使其暂时关闭ONLY_FULL_GROUP_BY。set s

#mysql
腾讯云配置安全组开放reids端口

踩坑----can’t connect to redis-server如果你的redis是在docker容器中创建的,那么很可能在远程连接时会出现连接错误,错误信息如上,这个问题很可能是因为你的服务器没有对外界开放redis端口填坑----配置安全组在配置安全组中,添加入栈规则,在协议端口中加上你配置的外界访问redis的端口号。填坑完毕...

#docker#redis
es查询原理

es查询原理:步骤:查询请求将被随机发送到一个es节点,该节点成为coordinating node,即协调节点协调节点根据路由算法算出被查询doc所在的primary shard在哪个节点协调节点使用轮询调度算法(Round-Robin Scheduling)将请求平均的分配到primary shard和replica shard上,目的是负载均衡处理请求的节点将请求结果返回给协调节点协调节点将

#elasticsearch
es使用索引模板来指定分片和副本数

问题:es7中,创建索引时,默认只有一个分片,影响性能和可用性,经过一番探索之后,确定了这个方案,使用索引模板来指定创建索引时的分片数。举例:例一:当我创建了如下template_1的索引模板之后,我去创建索引开头名为test的索引时,会自动使用这个索引模板,创建出分片数为3,副本数为1的索引。POST _template/template_1{"index_patterns": ["test*"

ES写入四大模式:INDEX、CREATE、UPDATE、DOC_AS_UPSERT

四大模式区别:INDEX:这个模式下,可以采用es内部生成id的方式,使得每次写入都是新增数据,因为每一次的id都不同CREATE:需要指定id,如果id已存在,则该条数据写入失败(被丢弃)UPDATE:需要指定id,如果id已存在,覆盖原有数据UPDAET--OPTION: DOC_AS_UPSERT需要指定id,如果id已存在,以UPSERT的方式更新数据,而不是直接覆盖原有数据。Java A

#elasticsearch
es7自动添加时间戳

需求:根据时间提取es数据解决:为es的记录添加时间戳方法:es5.0以前的版本使用的是@time_stamp方式来给document的每一条记录添加时间戳,"properties": {"@timestamp":{"format":"strict_date_optional_time||epoch_millis","type":"date""enabled":

#elasticsearch
到底了