大数据技术原理与应用(第一章,大数据概述)
大数据概述
目录
1.5.2物联网(The Internet of Things)
1.1大数据时代
技术支撑:存储,计算,网络。
数据产生方式的变革:
第一阶段 运营式系统阶段——>第二阶段 用户原创内容阶段——>第三阶段 感知式系统阶段(物联网的兴起与普及)。
1.2大数据的概念和影响
4V特性:variety:快速化;volume:大量化;velocity:多样化;value:价值密度低。
大数据摩尔定律:数据量每两年增长一倍。
解决科学问题的四种范式:实验,理论,计算,数据。
思维方式的颠覆:
全样而非抽样,效率而非精确(不存在抽样的误差放大),相关而非因果
1.3大数据的应用
业务流程优化,身体健康监控,智能医疗研发,交通情况实时监控,金融交易......
1.4大数据的关键技术
大数据技术的层次:
数据采集,数据存储与管理,数据处理与分析,数据隐私与安全
两大核心技术:
分布式存储
分布式数据库BigTable,分布式文件系统GFS
分布式并行处理技术
大数据计算模式:
批处理,针对大规模数据的批量处理:MapReduce,Spark
流计算,针对流数据的实时计算:S4,Storm,Flume
图计算,针对大规模图结构数据的处理:Google Pregel,GraphX
查询分析计算,针对大规模数据的存储管理与查询分析:Hive,Cassandra,Impala
1.5大数据与云计算、物联网的关系
1.5.1云计算
云计算:通过网络以服务的方式为用户提供非常廉价的IT资源。解决了大数据分布式存储与分布式处理问题,典型特征:虚拟化,多租户。
公有云,私有云,混合云
应用层(软件即服务SaaS)——面向用户
平台层(平台即服务PaaS)——面向应用开发者
基础设施层(基础设施即服务IaaS)——面向网络架构师
云计算数据中心
刀片服务器
地理位置要求:地质结构稳定,温度低
1.5.2物联网(The Internet of Things)
物物相连的互联网,是互联网的延伸
物联网层次架构
应用层:智能电网,智慧医疗,智能家居
处理层:业务支撑平台(中间件平台),服务支撑平台,信息处理平台
网络层:互联网,电网,专用网
感知层:传感器,二维码,摄像头
例:掌上公交
物联网的关键技术
识别技术,感知技术
例:二维码,RFID(公交卡)
大数据,云计算与物联网的关系图
更多推荐
所有评论(0)