参考DT大数据梦工厂spark官网场景DataFrame总论IT界数据存储与操作发展的四大阶段1、代码+文件系统2、J2EE+DB（存在的问题：数据库不能进行分布式计算）3、Hive4、SparkSQL+Hive => SparkSQL+Hive+DataFrame -> SparkSQL+Hive +DataFrame+DataSet（DataSet目前处于实验阶段）

参考kafka升级CDH5与CM5环境搭建场景怎么局部升级当前cm集群呢，比如添加kafka组件、spark组件等分析一、升级原因1、现有集群组件只能做一些离线类统计分析，无法满足当前实时类业务计算的需求。2、现有集群计算引擎是基于MR2,计算能力相对较弱。综合以上因素，决定在已有的集群组件中添加 : flume、kafka 与 spark 组件，以期提升集群的计算能力，满足当前实时

参考张孝祥系列JDK 1.8 API场景为什么java后来要引入泛型？泛型原理与特性？如何自定义方法泛型与类泛型？如何通过反射获取参数化类型的实际类型参数分析package cool.pengych.java.generic;import java.lang.reflect.InvocationTargetException;import java.lang.ref

场景上周做了什么事情？搭建了开发环境初步理解什么是机器学习理解基于spark mllib机器学习的开发过程以ALS算法为例，尝试搭建自己的推荐系统（目前还没有搞定）分析一. 搭建开发环境。周五发现目前的开发环境不可用：从svn下载后的工程无法在idea下运行。于是从新搭建了一下开发环境，项目已上传至SVN，具体搭建过程文档见附件相关文档。二. 什么是机器学习从功能的角度来讲就是，计算机

场景又换工作了，纠结的日子，写简历真心不简单啊;怎么在简历中“编”写（‘编’，是什么意思，聪明的你，搞spark的你该知道吧）大数据项目经验呢？Snail 从昨天晚上，一直写到今天晚上，好不夸张 - 故写此文章，以作纪念！简历基本信息姓 名:彭宇成年龄： X XCET-6 ： X X Scores 学 历:本 科