我自己做大数据已经很多年了,想整理一个文章为以后想踏入大数据行业的新人指明一个方向。

大数据的岗位可以分为三大类:大数据系统研发、大数据应用开发和大数据分析。大数据薪资的多少,一是取决于自己的技术实力,还有就是自己的机遇。

我个人是从传统行业dba转型到大数据分析的,首先有一点,就是你要有基础的数据查询管理知识,先把关系型数据库弄清楚,再自己动手搭建大数据平台,比如:搭建一个cdh6.3,不要怕费力,一旦你搭建成功了,这门技术就是你的了,永远也忘不了。以后我会写一个文章专门写如何搭建cdh6.3大数据集群。

接下来就是大数据分析,hive SQL的使用,语法、海量数据下如何提高hive SQL的效率,这不是简单几句话能写清楚的。

然后就是非关系型数据库比如hbase等的操作和熟悉程度。

kafka消息缓存的处理和优化。

实时消息处理,离线数仓和实时数仓也是必备的技能,你得有这个工作经历。

大数据系统开发和应用,scala、spark等是必备的技能了,一定要熟悉这些。

我本人是在新能源汽车行业做大数据分析,主要是解决车云平台和电池安全分析和预测。有相同经历的同学可以私信我与我沟通交流。

由于大数据知识结构和体系太过繁杂,我未来会逐一由浅入深专门写文章来描述。

更多推荐