logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

SparkStreaming状态操作和滑动窗口

SparkStreaming状态操作和滑动窗口​Spark是以采集周期处理数据,可以做到秒级。因此统计的是当前周期的数据汇总,但有些场景我们需要统计累加数据,例如:当天登录人数累加,当天某个广告的点击量累计,按小时统计首次登录人数等。这里我们需要用到以前周期的数据,因此我们需要将周期内的统计结果保存起来,用于下个周期使用。其实,我们自己也可以使用Redis缓存类工具做手动保存。这里SparkStr

#kafka#spark#big data
暂无文章信息