Flume 是 Cloudera 公司提供的一个高可用的，高可靠的，分布式的海量日志采集聚合和传输的系统。Flume 基于流式架构，灵活简单。这里的日志不是指框架工作运行的日志，而是跟业务相关的日志数据，如用户行为数据等Flume 最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到 HDFS。案例需求。

总的来说，Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。具体来说，Zookeeper是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper 就负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。Zookeeper = 文件系统 + 通知机制。

卷积神经网络（CNN） 1 CNN的组成2 卷积层2.1 卷积的计算2.2 多通道卷积2.3 多卷积核卷积2.4 特征图大小2.5 卷积层 api 实现 3 池化层3.1 最大池化3.2 平均池化 4 全连接层5 CNN的构建5.1 数据加载5.2 数据处理5.3 模型搭建5.4 模型编译5.5 模型训练5.6 模型评估 1 CNN的组成 CNN网络受人类视觉神经系统的启发，人类的视觉原理：从原

决策树思想的来源非常朴素，程序设计中的条件分支结构就是 if-else 结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。是一种树形结构，本质是一颗由多个判断节点组成的树其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。如何选择划分点？如何决定叶节点的输出值？优点简单的理解和解释，树木可视化。缺点决策树学习者可以创建不能很好地推广数据

NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。利用模板机 hadoop100，克隆三台虚拟机：hadoop101 、hadoop102、hadoop103。修改 module、software 文件夹的所有者和所属组均为 huwei 用户。在hadoop101上启动NameNod

函数一级目录二级目录三级目录一级目录二级目录三级目录

1. 注释用人类熟悉的语⾔对代码进⾏解释说明，方便后期维护，解释器不执⾏注释内容。# 单行注释"""多行注释多行注释"""'''多行注释多行注释'''单行注释快捷键：CTRL+/2. 变量

Numpy（NumericalPython）是一个开源的Python科学计算库，用于快速处理任意维度的数组。Numpy数组是同质数组，即所有元素的数据类型必须相同Numpy支持常见的数组和矩阵操作。对于同样的数值计算任务，使用Numpy比直接使用Python要简洁的多。Numpy使用ndarray对象来处理多维数组，该对象是一个快速而灵活的大数据容器。使用Python列表可以存储一维数组，通过列表

虚拟环境是Python解释器的一个私有的副本，在这个环境中你可以安装私有包，而且不会影响系统中安装的全局Python解释器。虚拟环境非常的有用，可以在系统中Python解释器中避免包的混乱和版本的冲突。为每个程序单独创建虚拟环境可以保证程序只能访问虚拟环境中的包，从而保持全局解释器的干净简洁。在想要的位置新建文件夹，鼠标点击。

本案例中，数据集包含大约200,000种产品的93个特征。其目的是建立一个能够区分otto公司主要产品类别的预测模型。所有产品共被分成九个类别（例如时装，电子产品等id - 产品idfeat_1, feat_2, …, feat_93 - 产品的各个特征target - 产品被划分的类别数据集：https://www.kaggle.com/c/otto-group-product-classifi