logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据上报服务

常见方案:定义上报数据格式客户端/服务端 通过sdk、http 然后 nginx将数据进行落地 access log通过日志收集工具 (td-agent,flume等)进行数据收集将收集完毕的数据发送到对应sink(kafka,hdfs,等)通过第三方的监控平台配置对采集数据状态的监控决定的数据上报服务1. 服务端/客户端将数据发送到不同的Nginx(业务不同,到达的日志地址不同)2. Nginx

#kafka#big data#java
Flink 常见问题汇总:反压积压,checkpoint报错,窗口计算,作业报错,无产出,流批不一致,调优等。

这可能是由于数据源的数据本身就不均衡,如Talos/Kafka的Topic中某些partition的数据量较大,某些partition的数据量较小,此时除了可以从业务上和数据源上解决该问题,如果不需要维护数据的有序性(同partition的数据是有序的,如果下游继续使用forward、hash等流分区方式,将能维持数据消费的有序性,从而确保不出现乱序问题),那么可以让Flink任务强制shuffl

文章图片
#flink#大数据
到底了