11.6 云计算和大数据技术概述 ★★★☆☆

11.6.1 云计算技术概述

1.云计算相关概念

云计算 (Cloud Computing)是同时描述一个系统平台或者一类应用程序的术语，包含两个方面：平台和应用。

平台即基础设施，其地位相当于 PC上的操作系统，云计算应用程序需要构建在平台之上；云计算应用所需的计算 与存储通常在“云端”完成，客户端需要通过互联网访问计算与存储能力。

2.云计算的服务方式

软件即服务 (Software as a Service)”、 “平台即服务 (Platform as a Service,PaaS)” 和“基础设施即服务 (Infrastructure as a Service,laaS)” 三类典型的服务 方式

1)软件即服务 (SaaS)

在 SaaS 的服务模式下，服务提供商将应用软件统一部署在云计算平台上，客户根据需要通 过互联网向服务提供商订购应用软件服务，服务提供商根据客户所订购软件的数量、时间的长 短等因素收费，并且通过标准浏览器向客户提供应用服务。

2)平台即服务 (PaaS)

在PaaS 模式下，服务提供商将分布式开发环境与平台作为一种服务来提供。这是一种分布 式平台服务，厂商提供开发环境、服务器平台、硬件资源等服务给客户，客户在服务提供商平 台的基础上定制开发自己的应用程序，并通过其服务器和互联网传递给其他客户。

3)基础设施即服务 (IaaS)

在 laaS 模式下，服务提供商将多台服务器组成的“云端”基础设施作为计量服务提供给客 户。具体来说，服务提供商将内存、 I/O设备、存储和计算能力等整合为一个虚拟的资源池，为 客户提供所需要的存储资源、虚拟化服务器等服务。

对三种服务方式进行分析后，可以看出这三种服务模式有如下特征：

(1)在灵活性方面， SaaS →PaaS → laaS 灵活性依次增强。这是因为用户可以控制的资源 越来越底层，粒度越来越小，控制力增强，灵活性也增强。

(2)在方便性方面， IaaS →PaaS →SaaS 方便性依次增强。这是因为IaaS 只是提供CPU、 存储等底层基本计算能力，用户必须在此基础上针对自身需求构建应用系统，工作量较大，方便性较差。而 SaaS模式下，服务提供商直接将具有基本功能的应用软件提供给用户，用户只要 根据自身应用的特定需求进行简单配置后就可以使得应用系统上线，工作量较小，方便性较好。

PaaS 是云计算服务模式中最为关键的一层，在整个云计算体系中起着支撑的作用。PaaS通 常以特定的互联网资源为中心，采用开放平台的形式，对外提供基于Web 的API服务。PaaS 的 地位相当于系统软件，需要为上层 SaaS 应用提供API, 以支持各种 SaaS 应用的开发。除了一 些基础性的API之外， PaaS还要提供更多高级的服务型API。这样，上层的应用就可以利用这 些高级服务，构建面向最终用户的具体应用。

3.云计算的部署模式

根据NIST 的定义，云计算从部署模式上看可以分为公有云、社区云、私有云和混合云四 种类型。

4.云计算的发展历程

虚拟化技术、分布式计算技术和软件应用模式三个方面

11.6.2 大数据技术概述

1.大数据的定义

1)维基百科的定义

大数据是指其大小或复杂性无法通过现有常用的软件工具，以合理的成本并在可接受的时限内对其进行捕获、管理和处理的数据集。

2)Granter 的定义

Granter公司关注大数据的三个量化指标：数据量、数据种类和处理速度。

3)IBM 的定义

IBM将大数据概括为三个V, 即大规 模 (Volume)、 高速度 (Velocity) 和多样化 (Variety), 这些特点也反映了大数据所潜藏的价 值 (Value, 第四个 “V”)。 大数据的特征可以整体概括为：“海量+多样化+快速处理+ 价值”。

4)SAS 的定义

SAS 在大数据传统“3V” 模型定义的基础上加入了“可变性”和“复杂性”两个重要 特征。

可变性主要反映了数据流可能具有高度的不一致性，并存在周期性的峰值。

复杂性主要体现在数据来源的多样性上。

2.大数据的研究内容

大数据面临着5个主要问题，分别是异构性 (Heterogeneity)、 规模 (Scale)、 时间性 (Timeliness)、 复杂性 (Complexity) 和隐私性 (Privacy)。

面临5个方面的挑战：

● 挑战一：数据获取问题。我们需要决策哪些数据需要保持或丢弃等问题，目前这些决策 还只能采用特设方法给出。

● 挑战二：数据结构问题。如何将没有语义的内容转换为结构化的格式，并进行后续 处理。

● 挑战三：数据集成问题。只有将数据之间进行关联，才能充分发挥数据的作用，因此数 据集成也是一项挑战。

● 挑战四：数据分析、组织、抽取和建模是大数据本质的功能性挑战。数据分析是许多大 数据应用的瓶颈，目前底层算法缺乏伸缩性、对待分析数据的复杂性估计不够，等等。

● 挑战五：如何呈现数据分析的结果，并与非技术的领域专家进行交互。

为了应对上述挑战，白皮书建议采用现有成熟技术解决大数据带来的挑战，并给出了大数据分析的分析步骤，大致分为数据获取/记录、信息抽取/清洗/注记、数据集成/聚集/表现、 数据分析/建模和数据解释5个主要阶段。

3.大数据的应用领域

制造业

服务业

交通行业

医疗行业