logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink流式处理集成kafka

1:引言对于实时处理当中,我们实际工作当中的数据源一般都是使用kafka,所以我们一起来看看如何通过Flink来集成kafkaFlink提供了一个特有的kafka connector去读写kafka topic的数据。flink消费kafka数据,并不是完全通过跟踪kafka消费组的offset来实现去保证exactly-once的语义,而是flink内部去跟踪offset和做checkpoint

文章图片
#flink#hdfs#kafka
【架构师面试-Java编程基本功-20】-Spring Boot配置与事务

Spring Boot 有哪几种读取配置的方式?Spring Boot 可以通过 @PropertySource,@Value,@Environment, ConfigurationPropertie 注解来绑定变量什么是 JavaConfigSpring JavaConfig 是 Spring 社区的产品,Spring 3.0 引入了他,它提供了配置 Spring IOC 容器的纯 Java 方

#java#spring#spring boot
【架构师面试-云原生-2】-云原生面试之Kubernetes(k8s)面试题大全100题

1 答疑1 Docker在发布微服务项⽬实例时候通常是怎么做?服务打镜像发布到镜像仓库⾥⾯去在Kubernetes运⾏我们的镜像2 Docker运⾏起来后,关于⼀些动态的ip地址配置项(⽐如 eureka集群加了⼀个服务节点怎么通知项⽬)通过Kubernetes中的Service的对象去解决。3 K8S是否能帮我们做到启动容器时添加相对环境变量参数可以添加新的变量参数。4 在实际项⽬应⽤的过程,我

#kubernetes#docker#java +1
【架构师面试-云原生-2】-云原生面试之Kubernetes(k8s)面试题大全100题

1 答疑1 Docker在发布微服务项⽬实例时候通常是怎么做?服务打镜像发布到镜像仓库⾥⾯去在Kubernetes运⾏我们的镜像2 Docker运⾏起来后,关于⼀些动态的ip地址配置项(⽐如 eureka集群加了⼀个服务节点怎么通知项⽬)通过Kubernetes中的Service的对象去解决。3 K8S是否能帮我们做到启动容器时添加相对环境变量参数可以添加新的变量参数。4 在实际项⽬应⽤的过程,我

#kubernetes#docker#java +1
Elasticsearch部署配置建议

1:选择合理的硬件配置:尽可能使用 SSDElasticsearch 最大的瓶颈往往是磁盘读写性能,尤其是随机读取性能。使用SSD(PCI-E接口SSD卡/SATA接口SSD盘)通常比机械硬盘(SATA盘/SAS盘)查询速度快5~10倍,写入性能提升不明显。对于文档检索类查询性能要求较高的场景,建议考虑 SSD 作为存储,同时按照 1:10 的比例配置内存和硬盘。对于日志分析类查询并发要求较低的场

文章图片
#elasticsearch#大数据#linux
Redis之String数据结构底层原理

1:不同类型的存储对于不同的对象,Redis会使用不同的类型来存储。对于同一种类型type会有不同的存储形式encoding。对于string类型的字符串,其底层编码方式共有三种,分别为int、embstr和raw。int:当存储的字符串全是数字时,此时使用int方式来存储;embstr:当存储的字符串长度小于44个字符时,此时使用embstr方式来存储;raw:当存储的字符串长度大于44个字符时

文章图片
#redis#缓存#算法
Redis之HyperLogLog底层原理与使用场景

1:业务场景引入HyperLogLog常用于大数据量的统计,比如页面访问量统计或者用户访问量统计。①需求:要统计一个页面的访问量(PV)①方案:直接用redis计数器或者直接存数据库都可以②需求:要统计一个页面的用户访问量(UV),即:一个用户一天内如果访问多次的话,也只能算一次②方案:可能会想到用SET集合来做,因为SET集合是有去重功能的,key存储页面对应的关键字,value存储对应user

文章图片
#redis#数据库#java +1
到底了