递归机制与常见案例分析（迷宫回溯问题、八皇后问题）

​1）Scala的集合有三大类：序列Seq集Set映射Map，所有的集合都扩展自Iterable特质。2）对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本，分别位于以下两个包不可变集合：scala.collection.immutable可变集合： scala.collection.mutable​3）Scala不可变集合，就是指该集合对象不可修改，每次修改就会返回一个新对象，而不会

我们之前在maven中使用过的依赖，即在创建项目的时候需要用到哪些其他的项目，或者第三方的模块/类库，我们需要依赖于它，这就是。在spark中，如果A用到了B，我们就称A依赖于B，B用到了C，那么B依赖于C。此时，A和C的关系称为（maven框架），在spark中我们称这种关系为。同样的，如果RDD1依赖于RDD2，RDD2依赖于RDD3，如：val rdd1 = rdd.map(_*2)那么我们

数据会被重复读取。如果想要提高性能，需要数据不被重复读取。那么就需要在数据传输给reduceByKey之前，先将数据放到一个缓存（文件）中，这样就可以不用重复读了。如下图所示：我们把这种操作称为持久化操作。

在customer表中，email字段、address字段、credit_no字段不希望被显示为明文，需要对其进行加密。数据分为三类，24小时制的、AM、PM分类处理。这里的时间格式不统一，有24时记时，也有12时记时，需要对数据进行整合。在ext_store_review中找出存在冲突的交易映射关系。根据商店和唯一的顾客id获取最受欢迎的产品。根据客户数量找出最受欢迎的5种产品。根据顾客消费价格

检索HBase的记录首先需要通过RowKey来定位数据行。当大量的client访问hbase集群的一个或少数几个节点，造成少数regionServer的读/写请求过大，或负载过大，而其他的regionServer负载却很小。这就是 “热点” 现象。

这里我们实现两个类，一个用于测试Demo，一个用于实现增删改查的方法Utils。打开项目构建，添加选择Libiary。new Library中选择java。

1.1.1 hive出现的原因FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目。hive是一个构建在Hadoop上的数据仓库工具(框架)，可以将hdfs上的结构化的数据文件映射成一张数据表，并可以使用类SQL语句来对这样的数据文件进行查询统计的功能。hive是一个Hadoop客户端，本

传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特点的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform）被公司用于高性能数据管道流分析数据集成和关键任务应用。

Apache Spark是一个开源的、强大的分布式查询和处理引擎，它提供MapReduce的灵活性和可扩展性，但速度明显要快上很多；拿数据存储在内存中的时候来说，它比Apache Hadoop 快100倍，访问磁盘时也要快上10倍。