logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flume 单个agent中配置多个source,channel,sink失效的问题

问题描述:为了节约服务器上使用flume占用的资源,希望减少flume产生的JVM进程。故将几个数据采集的需求都写在一个agent的配置文件中了。其中每一个单独执行的时候都没有任何问题。但是把agent的名字统一直接堆砌到一起之后发现收集数据的系统中仅仅有一个数据到位了。问题原因:1.agent 申明source、sink、channel变量的时候一定要一句全部申明,并用空格隔开。例如错误示范:#

#大数据#flume
Flink1.9“Error: A JNI error has occurred”

背景最近公司要搭建大数据系统,架构师推荐使用flink来搭建这套系统。所以我这边这天在自己的虚拟机环境(Ubuntu16.4)下调研玩一下Flink。从ververica上学习了一下flink的基础知识,因为之前是做python数据处理分析的工作,最近才学习Java,还没有专门学习maven的相关知识。所以从FLINK官方教程拉了一份JAVA的项目模板,并从ververica里找了一份大佬...

#java#flink
消费kafka数据 乱序问题

问题描述数据源是从一个多台服务器提供的HA kafka集群中读取,在工作的时候部署了一个简单计算逻辑的flink job到flink服务器上,从kafka执行自带sh命令和查看原始数据文件发现数据都没有问题。但是最终输出的统计结果与真实数据对比不一致。从flink直接读取的数据乱序(例如: 原始文件及命令创建消费者读取kafka数据 为 1,2,3,4。 在flink中注册resource直接打印

#kafka#flink#大数据
flink如何设置以每天零点到第二天零点为区间的window进行计算

环境flink1.11.2JAVAstream APItimewindow背景公司之前的指标是以分钟为单位的滚动窗口进行检查,然后在查询系统里查询的时候,对该天所有的分钟数据进行聚合统计。当前需要在flink中添加以天为单位的Job进行额外指标检查。指标出来之后和发现数据口径不一致,flink中默认是timeWindow按天进行滚动统计的数据是每天八点到第二天八点的数据。导致统计指标的含义对不上,

#flink#java
JAVA使用fastjson解析数据时异常

错误描述Exception in thread "main" com.alibaba.fastjson.JSONException: syntax error, expect {, actual string, pos 40, line 1, column 41"{\"hh\":\"159\",\"test\":\"aa\",59:16}"背景公司的后台服务是基于Springboot+...

#java
到底了