logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

一个简单的小时级数据仓库构建

利用Kafka作为中间件,通过spring boot项目开放一个接口传数据,通过生产者发送,消费者来接收数据后按照小时划分存为文件,后load到hive仓库。原因百度应该是有什么特殊符号问题可能是命令行换行符,,但是我截取出来只有数字。可能是shell哪里的问题吧。一开始直接把时间切分剩小时,结果报错 ambiguous redirect,又切分一下就好了。把文件load到hive数据仓库,根据小

#hive#kafka#数据仓库 +1
基于flink,kafka实时计算订单topN,存到redis

主要难点是计算一定时间内订单总数topN,使用aggregate算子,重写方法自定义聚合函数

文章图片
#flink#大数据
到底了