首先说一下，这里解决的问题应用场景：sparksql处理Hive表数据时，判断加载的是否是分区表，以及分区表的字段有哪些？再进一步限制查询分区表必须指定分区？这里涉及到两种情况：select SQL查询和加载Hive表路径的方式。这里仅就"加载Hive表路径的方式"解析分区表字段，在处理时出现的一些问题及解决作出详细说明。如果大家有类似的需求，笔者建议通过解析Spark SQL logical p

spark streaming是基于微批处理的流式计算引擎，通常是利用spark core或者spark core与spark sql一起来处理数据。在企业实时处理架构中，通常将spark streaming和kafka集成作为整个大数据处理架构的核心环节之一。

原因Spark应用中使用了org.apache.thrift libthrift依赖包新版本不兼容老版本。比如老版本是0.9.3，Hadoop版本升级后，libthrift版本为0.16.0，需要调整pom中的依赖。Spark查询/保存Hive数据，在Hadoop集群升级后遇到如下异常。

请求数据的时候会先获取block的所有存储位置信息，并且是随机的在所有存储了该executor的BlockManager去获取，避免了数据请求服务集中于一点。总之，就是HttpBroadcast导致获取广播变量的请求集中于driver端，容易引起driver端单点故障，网络IO过高影响性能等问题，而TorrentBroadcast获取广播变量的请求服务即可以请求到driver端也可以在execut

Yarn（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序如Spark、MapReduce分配资源和调度，不参与用户程序内部工作。同样是Master/Slave架构。主节点，全局资源管理器，负责整个系统的资源管理和分配，主要由调度器和应用程序管理器组成。调度器根据容量、队列等限制条件（如每个队列分配多少资源、最多执行一定数量的作业等）将系统中资源分

Driver：Spark框架中的驱动器，运行用户编写Application 的main()函数。类比于MapReduce的MRAppmaster。Executor：运算任务执行器，运行在worker节点上的一个进程。类似于MapReduce中的MapTask和ReduceTask。Worker：从节点，负责控制计算节点，启动Executor。类比Yarn中的节点资源管理器。Master：主节点，控

Spark SQL是一个用来处理结构化数据的Spark组件，前身是shark，但是shark过多的依赖于hive如采用hive的语法解析器、查询优化器等，制约了Spark各个组件之间的相互集成，因此Spark SQL应运而生。Spark SQL在汲取了shark诸多优势如内存列存储、兼容hive等基础上，做了重新的构造，因此也摆脱了对hive的依赖，但同时兼容hive。除了采取内存列存储优化性能，

RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。提到大数据必提分布式，而在大规模的分布式集群中，任何一台服务器随时都有可能出现故障

在利用Spark处理数据时，如果数据量不大，那么Spark的默认配置基本就能满足实际的业务场景。但是当数据量大的时候，就需要做一定的参数配置调整和优化，以保证业务的安全、稳定的运行。并且在实际优化中，要考虑不同的场景，采取不同的优化策略。

基于数组实现的有界阻塞队列。因为基于数组实现，所以具有查找快，增删慢的特点。生产者和消费者用的是同一把锁，不能并行执行效率低。它底层使用了一种标准互斥锁ReentrantLock，即读读、读写，写写都互斥，当然可以控制对象内部是否采用公平锁，默认是非公平锁。消费方式是FIFO。生产和消费数据时，直接将枚举对象插入或删除，不会产生或销毁额外的对象实例。应用：因为底层生产和消费用了同一把锁，定长数组不