拿数组5, 2, 8, 9, 1, 3，4来说, 数组长度为7, 当increment为3时, 数组分为两个序列5、2、8和9、1、3、4, 第一次排序, 9和5比较, 1和2比较, 3和8比较, 4和比其下标值小increment的数组值相比较。根据需求, 如果你想要结果从大到小排列, 它会首先将数组进行分组, 然后将较大值移到前面, 较小值移到后面, 最后将整个数组进行插入排序, 这样比起一开

在推荐系统中，协同过滤算法是应用较多的，具体又主要划分为基于用户和基于物品的协同过滤算法，核心点就是基于"一个人"或"一件物品"，根据这个人或物品所具有的属性，比如对于人就是性别、年龄、工作、收入、喜好等，找出与这个人或物品相似的人或物，当然实际处理中参考的因子会复杂的多。大家如果在实际业务处理中有相关需求，可以根据实际场景对上述代码进行优化或改造，当然很多算法框架提供的一些算法是对这些相似度算法

推荐系统是根据用户的行为、兴趣等特征，将用户感兴趣的信息、产品等推荐给用户的系统，它的出现主要是为了解决信息过载和用户无明确需求的问题，根据划分标准的不同，又分很多种类别：根据目标用户的不同，可划分为基于大众行为的推荐引擎和个性化推荐引擎根据数据之间的相关性，可划分为基于人口统计学的推荐和基于内容的推荐…通常，我们在讨论推荐系统时主要是针对个性化推荐系统，因为它才是更加智能的信息发现过程。在个性化

【大数据学习与分享】主要是做什么的？【大数据学习与分享】主要专注于大数据领域常用的技术，如Spark、Hadoop、Hive、HBase、Kafka、Zookeeper等技术的使用、实战技巧、源码解读，语言主要以Java和Scala为主，保证文章质量，为大家提供一个优质的大数据学习与分享平台。同时也会涉及到目前市场上已经开源的并且在企业中已得到实际应用的基于这些技术进行“封装”的一些技术。但是专注

首先说一下，这里解决的问题应用场景：sparksql处理Hive表数据时，判断加载的是否是分区表，以及分区表的字段有哪些？再进一步限制查询分区表必须指定分区？这里涉及到两种情况：select SQL查询和加载Hive表路径的方式。这里仅就"加载Hive表路径的方式"解析分区表字段，在处理时出现的一些问题及解决作出详细说明。如果大家有类似的需求，笔者建议通过解析Spark SQL logical p

spark streaming是基于微批处理的流式计算引擎，通常是利用spark core或者spark core与spark sql一起来处理数据。在企业实时处理架构中，通常将spark streaming和kafka集成作为整个大数据处理架构的核心环节之一。

原因Spark应用中使用了org.apache.thrift libthrift依赖包新版本不兼容老版本。比如老版本是0.9.3，Hadoop版本升级后，libthrift版本为0.16.0，需要调整pom中的依赖。Spark查询/保存Hive数据，在Hadoop集群升级后遇到如下异常。

请求数据的时候会先获取block的所有存储位置信息，并且是随机的在所有存储了该executor的BlockManager去获取，避免了数据请求服务集中于一点。总之，就是HttpBroadcast导致获取广播变量的请求集中于driver端，容易引起driver端单点故障，网络IO过高影响性能等问题，而TorrentBroadcast获取广播变量的请求服务即可以请求到driver端也可以在execut

Yarn（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序如Spark、MapReduce分配资源和调度，不参与用户程序内部工作。同样是Master/Slave架构。主节点，全局资源管理器，负责整个系统的资源管理和分配，主要由调度器和应用程序管理器组成。调度器根据容量、队列等限制条件（如每个队列分配多少资源、最多执行一定数量的作业等）将系统中资源分

Driver：Spark框架中的驱动器，运行用户编写Application 的main()函数。类比于MapReduce的MRAppmaster。Executor：运算任务执行器，运行在worker节点上的一个进程。类似于MapReduce中的MapTask和ReduceTask。Worker：从节点，负责控制计算节点，启动Executor。类比Yarn中的节点资源管理器。Master：主节点，控