logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kafka(一)使用Docker Compose安装单机Kafka+Kafka UI+Prometheus JMX Exporter

这里我们的配置是选择的是KRaft,因为Kafka官方已经计划在Kafak中移除Zookeeper。对于UI配置项没什么特别要说的,这里只是提一下,注意这里的docker-compose.yml中environment的写法,和上面的Kafka镜像中environment的写法不同,这是两种不同的写法。> 文档网址 > Compose examples 下面可以找打很多Kafak ui的compo

#kafka#docker#大数据
Kafka(四)消费者消费JSON消息+使用统一反序列化器+提升吞吐量

在生产者端,我们发送自定义的对象时,利用自定义序列化类将其序列化为JSON。在消费者端,我们同样需要自定义反序列类将JSON转为我们之前的对象@Override在处理消费者相关逻辑时,我们重点关系如何确保消息不重复消费以及如何增加消费者的吞吐量消费逻辑尽可能保证处理速度快,尽量减少耗时的逻辑。

#kafka#分布式#中间件 +1
Kafka(三)生产者发送JSON消息+使用统一序列化器+提升吞吐量

消息格式为JSON, 使用Jackson将类序列化为JSON字符串@Override在实际编码过程中,可以参考官方写的Kafka权威指南对应章节书写,或者参考各大云服务厂商的Kafak的开发者文档。不过我建议还是看Kafka权威指南, 我看了阿里云和华为云的,虽然都号称兼容开源Kafka,但是发现其版本和开源版本之间存在一定的滞后性,许多最佳实践已经过时Kafka生产者端没什么特别的,主要是根据业

#kafka#中间件#rabbitmq +1
Kafka(五)消费者回调 +定时重试 + 理解Rebalance

至此为止,利用Kafka实现一个消息系统就基本完成了,所有关键的代码都在不同的博文中并进行了详细说明,说过想要体会完整的设计、实现思路,请移步源码仓库获取完整代码。下一篇关于Kafak的博文打算分享一下如何利用Kafka Connect将Oracle数据库的数据同步到Postgre SQL中。

#kafka#分布式#rabbitmq +2
Kafka(六)利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中以及实现缓存一致性

sourceConnector.jar,将源数据导入至Kafka的topic中sinkConnector.jar,将Kafka topic中的数据导入至目标源但是Kafka并没有提供特别丰富的connector,那么Debezium就出现了。你可以把Debezium简单理解成是CDC技术的一种实现,并提供了很多数据库的sourceConnector.jar和sinkConnector.jar。

#数据库#kafka#数据仓库 +2
Kafka(一)使用Docker Compose安装单机Kafka+Kafka UI+Prometheus JMX Exporter

这里我们的配置是选择的是KRaft,因为Kafka官方已经计划在Kafak中移除Zookeeper。对于UI配置项没什么特别要说的,这里只是提一下,注意这里的docker-compose.yml中environment的写法,和上面的Kafka镜像中environment的写法不同,这是两种不同的写法。> 文档网址 > Compose examples 下面可以找打很多Kafak ui的compo

#kafka#docker#大数据
Git基本使用以及如何向开源项目提交PR(常见问题整理-超实用)

GitHub常用操作问题GitHub clone到本地太慢,经常失败怎么办?如何同官方的仓库保持同步呢?如何向开源项目提交PR?还有其他各种实践问题尽在本文中逐个解答

#git#java#github
Kafka(六)利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中以及实现缓存一致性

sourceConnector.jar,将源数据导入至Kafka的topic中sinkConnector.jar,将Kafka topic中的数据导入至目标源但是Kafka并没有提供特别丰富的connector,那么Debezium就出现了。你可以把Debezium简单理解成是CDC技术的一种实现,并提供了很多数据库的sourceConnector.jar和sinkConnector.jar。

#数据库#kafka#数据仓库 +1
Elasticsearch 常用操作、对接Logstash以及处理本地IP、ECS规范(干货满满)

经过前面两篇博文之后,现在已经有了article数据、可以查询相关数据。那接下来就是在这个基础上继续完善

#java#elasticsearch
ElasticSearch Java API的使用

Search API 官方文档我们都知道,Elasticsearch的各种API都是很标准的Restful风格,一个标准的请求如下target是我们要查询的index的名字,关键是request body。我们平时的一般开发场景request body里的属性基本是下面这些。也就是我的过滤条件是什么?返回结果如何排序?如何只返回部分字段?如何分页?这几种常见需求大方向其实也就6种,下面简单逐一解释

#elasticsearch#java#搜索引擎 +1
    共 12 条
  • 1
  • 2
  • 请选择