简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
背景最近公司要搭建大数据系统,架构师推荐使用flink来搭建这套系统。所以我这边这天在自己的虚拟机环境(Ubuntu16.4)下调研玩一下Flink。从ververica上学习了一下flink的基础知识,因为之前是做python数据处理分析的工作,最近才学习Java,还没有专门学习maven的相关知识。所以从FLINK官方教程拉了一份JAVA的项目模板,并从ververica里找了一份大佬...
问题描述数据源是从一个多台服务器提供的HA kafka集群中读取,在工作的时候部署了一个简单计算逻辑的flink job到flink服务器上,从kafka执行自带sh命令和查看原始数据文件发现数据都没有问题。但是最终输出的统计结果与真实数据对比不一致。从flink直接读取的数据乱序(例如: 原始文件及命令创建消费者读取kafka数据 为 1,2,3,4。 在flink中注册resource直接打印
环境flink1.11.2JAVAstream APItimewindow背景公司之前的指标是以分钟为单位的滚动窗口进行检查,然后在查询系统里查询的时候,对该天所有的分钟数据进行聚合统计。当前需要在flink中添加以天为单位的Job进行额外指标检查。指标出来之后和发现数据口径不一致,flink中默认是timeWindow按天进行滚动统计的数据是每天八点到第二天八点的数据。导致统计指标的含义对不上,
错误描述Exception in thread "main" com.alibaba.fastjson.JSONException: syntax error, expect {, actual string, pos 40, line 1, column 41"{\"hh\":\"159\",\"test\":\"aa\",59:16}"背景公司的后台服务是基于Springboot+...