logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

SparkStreaming有状态算子updateStateByKey

updateStateByKeyupdateStateByKey与reduceByKey代码实现updateStateByKeyupdateStateByKey与reduceByKey代码实现updateStateByKey虚拟机端:nc -lk 8888 用于测试代码在IDEA中运行,从虚拟机nc -lk 8888指令的命令行中接收数据package sparkstreamingimport o

#spark#intellij-idea#scala
SparkStreaming稽查布控/动态广播变量(处理电信数据)

@TOC需求:在mysql中建表CREATE TABLE `list` (`id` int(11) NOT NULL AUTO_INCREMENT,`mdn` varchar(255) DEFAULT NULL,PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=latin1;== 具体数据放在文章最后==在虚拟机中

#spark#big data#scala
离线计算/实时计算/SparkStreaming

离线计算/实时计算离线计算与实时计算的区别离线计算实时计算SparkStreamingSparkStreaming与flinkSparkStreaming会出现的问题编写简单的SparkStreaming代码离线计算与实时计算的区别离线计算实时计算mysql数据库是实时查询,不是实时计算SparkStreamingSparkStreaming与flinkSparkStreaming会出现的问题编写

#spark#大数据
flume

flumeflume简介flume架构Flume数据流Flume可靠性Flume的安装及使用Flume的安装1、上传至虚拟机,并解压2、重命名目录,并配置环境变量3、查看flume版本4、测试flume5、flume的使用spoolingToHDFS.confhbaseLogToHDFShbaselogToHBasehttpToLoggerflume简介flume是一个分布式、可靠、和高可用的海量

#flume#big data#大数据
到底了