logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据平台架构的理解

什么是大数据平台有三个疑问:1.使用Cloudera或Hortonworks之类的Hadoop发行版本公司的提供的Hadoop套件,配置些参数,找几台服务器部署起来就算是一套大数据平台吗?2.数据开发人员平时的工作是不是写些MR或者SQL任务,使用原生的命令行提交任务就可以了吗?3.平台开发人员日常的工作是不是处理下集群的故障,给业务方扫盲,纠正各种框架组件使用姿势呢?大数据平台个人理解:***是

#大数据
Spark命令笔录(4)-运行模式

Spark程序运行需要资源调度的框架,比较常见的有Yarn、Standalone、Mesos等,Yarn是基于Hadoop的资源管理器,Standalone是Spark自带的资源调度框架,Mesos是Apache下的开源分布式资源管理框架,使用较多的是Yarn和Standalone,本篇浅谈Spark在这两种框架下的运行方式。1 StandaloneStandalone分为两种任务提交方式:cli

#spark
ASP.NET MVC5+EF6+EasyUI 后台管理系统

ASP.NET MVC5+EF6+EasyUI 后台管理系统(1)-前言与目录(持续更新中...)开发工具:VS2015(2012以上)+SQL2008R2以上数据库   您可以有偿获取一份最新源码联系QQ:729994997 价格666RMB 升级后界面效果如下:日程管理  http://www.cnblogs.com/ymnets

#mvc#easyui#visual studio +2
kafka中的@KafkaListener如何动态获得topic

第一种方法:我的天啊,经过几天奋战,终于解决这个大坑,我一定要写个博客纪念一下。首先,引入依赖:org.springframework.kafkaspring-kafka很重要,一定要看好,依赖困扰了我很久其次写一个 KafkaTopicConfig类,继承InitializingBean,重写afterPropertiesSet()方法。我的如下:@Configurationpublic cla

#kafka#java#分布式
暂无文章信息