数据的join操作（数据连接）对于数据分析来说是非常重要的组成部分，不管是Spark Core还是Spark SQL都支持joins的相同基本类型。joins一种很常见，但又最容易造成性能问题的操作。因为它可能会造成大量的网络传输，尤其是当使用Spark Core组件的时候，因为DAG optimizer（DAG 优化器）无法对数据进行重排列（按照列）并且降低filters的复杂度。在输入数据集的

2、ResourceManager负责接收和处理来自客户端的用户请求，收到请求后，ResourceManager里面的Resource Scheduler会为应用程序分配一个container，同时，ResourceManager的Applications Manager会与container所在的NodeManager通信，为该应用程序在container中启动一个ApplicationMast

某些专业领域从实时数据分析中获利：流量监控、在线广告、股票市场交易等。许多案例需要可扩展的容错系统来摄入数据并进行分析，Spark Streaming具有用于从Hadoop兼容的文件系统（如HDFS和S3）和分布式系统（如Flume、Kafka和Twitter）读取数据的连接器。......

localnodeconnectivity是基于 Spark Graphx 中的 Pregel 机制实现的算法。关于Pregel机制的理解可参考【大数据分析】基于Graphx的shortestpath源码解析。localnodeconnectivity可以在有限的迭代次数内尽可能多地计算出起始点SSS和目标点TTT之间的独立路径。所谓独立路径，指的是它与其他路径除了SSS和TTT之外，没有重合的点

（1）点连通度，一个图G至少要去掉多少个点会变成非连通图或者平凡图（连通图，任意两点之间至少存在一条路径）。（2）边连通度，一个图G至少要去掉多少条边才能变成非连通图。

目录顶点对象与边对象mapping操作三级目录顶点对象与边对象弹性分布式数据集（RDD）是构建Spark程序的基础模块，它提供了灵活、高效、并行化数据处理和容错等特性。在GraphX中，图的基础类为Graph，它包含两个RDD：一个为边RDD，另一个为顶点RDD。与其他图处理系统和图数据库相比，基于图概念和图处理原语的GraphX，它的一大优势在于，既可以将底层数据看作一个完整的图，使用图概念和图

目录MLlib介绍创建RDDMLlib介绍MLlib是Spark中可扩展的机器学习库，她由一些列机器学习算法和实用程序组成。包含：线性回归、逻辑回归、贝叶斯分类、决策树分类、KMeans、LDA、KNN、Apriori、FPGrowth、协同过滤、ALS、BP、RBF、SVM等，另外还包括一些深度学习算法。创建RDDRDD（Resilient Distributed Dataset），即.....

目录图基础图的数据类型图的属性图的分区图存储，分布式文件系统与图数据库图的专业术语解释有向图和无向图有环图和无环图有标签的图和无标签的图平行边和环二分图RDF图和属性图邻接矩阵图查询系统SPARQLCypherTinkerpop GremlinGraphX图基础现在图最常用于挖掘社交媒体数据，特别是识别出社交小圈子、推荐新的（社交）连接关系，或推荐产品和广告。这样的社交数据量很大，单机存储能力不够

（1）.META.表，记录了用户所有表拆分出来的 Region 的映射信息，.META.可以有多个Region。（2）-ROOT- 表，记录了 .META. 表的 Region 信息，-ROOT- 自身只有一个 Region，无论如何不会分裂。Client 访问用户数据前需要首先访问ZK，找到 -ROOT- 表的 Region 所在的位置，然后访问 -ROOT- 表，接着访问 .META. 表，最

（1）窄依赖（narrow dependencies）。父RDD的每个分区最多被子RDD的一个分区所引用。（2）宽依赖（wide dependencies）。父RDD的每个分区被多个子RDD所引用。例如，考虑以下代码 code_A从rdd1到rdd3的数据的变化如下图所示：从rdd1到rdd2属于窄依赖（narrow dependencies），因为rdd2中的每个分区数据仅从rdd1中的一个分区