一、 什么是大数据?
大数据:指指数据集的大小超过了现有典型的数据库软件和工具的处理能力
的数据。

二、大数据的特点
1、海量化(Volume)
数据量从TB到PB级别
2、多样化(Variety)
数据类型复杂,超过80%的数据是非结构化的
3、快速化(Velocity)
数据量在持续增加(两位数的年增长率)
数据的处理速度要求高
4、高价值(Value)
在海量多样数据的快速分析下能够发挥出更高的数据价值

三、大数据能做什么
海量数据背景下
1、快速查询 - 全量查询
例如:每个用户查询上月手机流量记录或上月通话明细。都是在海量用户
中查询某一个人的记录,三秒内出结果。
2、数据存储 - 量大、文件大、
传统数据计算特点:
数据量小(基本单位是MB、GB)、
数据种类少(大都为结构化数据)、
增长速度慢

海量数据存储
A:大数据能够存储海量数据
大数据时代数据量巨大,
1TB=1024
1G 约26万首歌(一首歌4M)
1PB=102410241G 约2.68亿首歌 (一首歌4M)
B:大数据能够存储单个大文件。
目前市面上最大的单个硬盘大小约为10T左右。若有一个文件20T,将 无法存储。大数据可以存储单个20T文件,甚至更大。
3、快速计算 - 对比传统方案
例如:计算全国移动用户(全国数据量大),全年内通话总时间(每个人 一年通话总和)大于1万分钟的人,按照从多到少顺序。
4、实时计算 - 最新数据
例如:欠费的手机充话费,充值完成后,手机几秒钟后就能使用、双十一实时交易大屏
5、数据挖掘 - 新价值
例如:通过数据挖掘算法计算花的种类。
通过算法识别出这些花是玫瑰花?百合?茉莉花?菊花?桂花?

大数据前景也是非常不错且国家大力支持
在这里插入图片描述

大数据也是一种趋势

趋势之一
5G就是一场革命,它以技术为驱动,从人与人的连接延伸到万物互联,从个人和家庭延伸到社会各个领域,进而为社会经济、生活带来革命性的影响。
5G时代 数据传输速度更快,延时更低,数据量也将N个数量级增长,数据量将更大。
在这里插入图片描述
趋势之二
云计算人工智能等前沿创新技术深度融合。
在这里插入图片描述
趋势之三:针对制造业的大数据解决方案不断升级,助力智能制造。在这里插入图片描述
大数据技术应用分享:

列举一部分大数据就业岗位:
1、ETL工程师
2、数据仓库工程师
3、大数据开发工程师
4、Hadoop工程师
5、Spark/Flink工程师
6、大数据分析师
7、大数据算法工程师
8、大数据运维工程师
9、大数据解决方案

更多推荐