logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

sparkstreaming之实时数据流计算实例

最近在用sparkstreaming的技术来实现公司实时号码热度排序,学习了一下sparkstreaming的相关技术,今天主要要讲一个简单sparkstreaming实时数据流技术的一个实例,帮助大家更好的理解和学习sparkstreaming编程原理。

#spark
Storm编程之wordcount(kafka--》Jstorm--》redis)

本文是笔者这周闲来无事做的一个小小的尝试。设计的软件比较多,大家可以一一在本机安装一下,我的电脑是mac pro,基本安装起来和Linux基本一致,比较简单基本都是下载 解压包 拷贝到安装目录重命名 然后启动服务需要安装的基本有 JDK1.7,IDEA,kafka,Jstorm,redis都是单机下面直接给出项目的pom.xml配置信息:<project xmlns="http:

#kafka#storm#redis
spark入门知识讲解和基础数据操作编程(统一用scala编程实例)

在我的上一篇博文中:http://blog.csdn.net/zfszhangyuan/article/details/52538108 讲如何应用scala编程完成用户的在线时长和登录次数在spark上的求解方式。讲到这里有同学可能对编程完后如何将程序放到线上spark集群上运行以及如何理解spark框架在大数据架构体系中的位置及其基本原理有所疑问。

#spark#scala
到底了