1、spark与Hadoop的联系1）spark继承HadoopSpark 紧密集成 Hadoop 生态系统里的许多工具。它能读写 MapReduce 支持的所有数据格式，可以与 Hadoop 上的常用数据格式，如 Avro 和 Parquet（当然也包括古老的 CSV），进行交互。它能读写 NoSQL 数据库，比如HBase和Cassandra。它的流式处理组件 Spark St

Hive表有受控表(内部表)、外部表、分区表、桶表四种。内部表，就是一般的表，前面讲到的表都是内布标，当表定义被删除的时候，表中的数据随之一并被删除。外部表，数据存在与否和表的定义互不约束，仅仅只是表对hdfs上相应文件的一个引用，当删除表定义的时候，表中的数据依然存在。创建外部表，external是外部表的关键字，也是和内部表有区别的地

1．驱动器节点(Driver)Spark的驱动器是执行开发程序中的 main方法的进程。它负责开发人员编写的用来创建SparkContext、创建 RDD，以及进行 RDD 的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动 Spark shell的时候，系统后台自启了一个 Spark 驱动器程序，就是在Spark shell 中预加载的一个叫作 sc 的 Sp

1、一般分类机器学习的一般分类为：监督学习、无监督学习、强化学习、半监督学习、主动学习。1.监督学习监督学习是从<x, y>这样的示例对中学习统计规律，然后对于新的X，给出对应的y。输入空间、特征空间、输出空间、假设空间输入、输出所有可能的取值的集合分别称为输入空间、输出空间。一个具体的输入是一个实例，通常由特征向量表示，特征向量组成的空间为特征空间。特征空间与输入空间可以为同一空间，

Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了其在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性。Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。由于Spark的核心引擎有着速度快和通用的特点，因此Spark 还支持为各种不同应