阿里云提供的大数据计算服务MaxCompute（原名ODPS，Open Data Processing Service的简称）是一种快速、完全托管的EB级数据仓库解决方案，主要用于实时性要求不高的离线计算分布式处理场景。因此，大数据计算服务MaxCompute不能用于数据的实时处理场景中。

由于Docker是构建在Linux的基础之上，因此从Linux底层看，Docker是利用了Linux Control Group（简称Linux CGroup）实现了对资源使用的控制。因此，要掌握Docker容器的资源管理，有必要先了解一下什么是Linux CGroup。Linux CGroup是Linux下的一些进程，通过这些进程可以限制应用程序对资源的使用。并且，通过Linux CGroup可

Apache Flume支持采集各类数据发送方产生的日志信息，并且可以将采集到的日志信息写到各种数据接收方。其核心是把数据从数据源（Source）收集过来，在将收集到的数据送到指定的目的地（Sink）。为了保证输送的过程一定成功，在送到目的地（Sink）之前，会先缓存数据（Channel）,待数据真正到达目的地（Sink）后，Flume再删除自己缓存的数据。

Helm通过打包的方式动态创建Kubernetes应用的配置信息，然后生成应用程序的YAML清单文件，并最终由kubectl进行调用完成应用的部署。因此从使用方式上看，Helm类似于Linux YUM的包管理。下面展示了Helm的体系架构。从Helm 3开始，Helm将所有的配置信息存储在Kubernetes集群的配置中。Helm中有三个非常重要的概念，它们分别是：Chart、Repository

DataWorks是阿里云重要的PaaS（Platform as a Service）平台产品，为用户提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapReduce、基于Flink的实时计算、机器学习PAI、图计算服

利用yum方式可以很方便地添加、删除和更新Linux系统的程序包，并且能够自动解决包的依赖性问题。使用yum也能够方便地管理大量的系统更新问题。一般使用yum方式需要连接外部的网络。（1）为验证虚拟机是否可以访问外部的互联网，这里输入以下的命令进行测试。（2）执行以下命令使用yum方式安装Docker。（5）通过执行以下命令确定Docker的版本。【赵渝强老师】使用yum方式安装Docker。（4

它指的是可以容纳一个或者多个可插拔数据库（Pluggable Database，简称PDB）的数据库，这个特性允许在CDB容器数据库中的体系架构创建并且维护多个数据库。当创建的数据库比较多的时候，就需要更多的数据库服务器。从Oracle数据库 12c R2版本开始,Oracle对多租户容器数据库的功能进行了增强，在CDB root容器中可以创建一个叫做Application Root的容器，可在其

Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道

Overlay网络是在不改变现有网络的前提下，对IP报文上进行数据格式的封装，从而利用IP路由协议实现了数据的转发功能。Docker原生的Overlay网络则是这样的一个解决方案，它也是目前实现容器跨节点通信的主流的数据传输和路由方案。（9）在master节点上，使用my_multi_hosts的overlay网络启动一个容器，并确定容器的IP地址，如下图所示。（10）在node1节点上，使用my

Hadoop的安装和部署是大数据生态圈体系中最麻烦的一个。Hadoop部署完成后，进一步地部署Spark和Flink就非常容易了。Hadoop的部署模式分为本地模式、伪分布模式和全分布模式。在学习完成了ZooKeeper的相关内容后，还将进一步地学习Hadoop HA的部署。这里重点讨论一下Hadoop的伪分布部署模式。【赵渝强老师】Hadoop的伪分布部署模式。