霸道选举算法是一种分布式选举算法，每次都会选出存活的进程中ID最大的候选者。霸道选举算法的假设霸道选举算法的假设：通信通道是可靠的，更进一步的假设是系统中任何两个进程之间都可以通信进程之间相互知道各自的进程编号，也就是说算法依赖一个全局的数据假设进程能够明确地判断出一个正常运行的进程和一个已经崩溃的进程霸道选举算法的选举流程选举过程中会发送以下三种消息类型：Elect...

出现这个异常后，网上查询解决方案，大多数说法是MySQL库表在UNION时字段COLLATION的编码设置不同，utf8mb4_general_ci vs.utf8mb4_unicode_ci。但是我将所有字段的COLLATION设置相同后，仍然报java.sql.SQLException: Illegal mix of collations for operation 'UNION'。于是将..

Hive——用户自定义函数(UDF)  用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。用户可以使用Java编写自己的UDF，一旦将用户自定义函数加入到用户会话中(交互式的或者通过脚本执行的)，它们就将和内置的函数一样使用，甚至可以提供联机帮助。Hive具有多种类型的用户自定义函数，每一种都会针对输入数据执行特定“一类”的转换过程。  在ETL处理中，一个处理过程可能包含多个处

1、MapReduce编程模型MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是“任务的分解和结果的汇总”。在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker。JobTracker用于

在数据挖掘应用领域里存在四种完全不同的学习方式。分类学习(classification learning)是用一个已分类的样本集来表示学习方案，并希望从这个样本集中学习对未来样本进行分类的方法。关联学习(association learning)寻找任何特性之间的关联，不仅仅是为了预测一个特定的类值。聚类(clustering)寻找能够组合在一起的样本，并依此分组。数值预测(numericp

堆Heap是内存中动态分配对象存在的地方。如果使用new一个对象，它就被分配在堆内存上。这是相对于Stack，如果你有一个局部变量则它是位于Stack栈内存空间。一般情况下，Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的，也称为堆内内存（on-heap memory）。虚拟机会定期对垃圾内存进行回收，在某些特定的时间点，它会进行一次彻底的回收（full gc）。彻底回收

基础Spark的shell作为一个强大的交互式数据分析工具，提供了一个简单的方式学习API。它可以使用Scala(在Java虚拟机上运行现有的Java库的一个很好方式)或Python。在Spark目录里使用下面的方式开始运行：./bin/spark-shellSpark最主要的抽象是叫Resilient Distributed Dataset(RDD)的弹性分布式集合。RDDs可以使用Ha

一、JVM内存模型内存空间(Runtime Data Area)中可以按照是否线程共享分为两块，线程共享的是方法区(Method Area)和堆(Heap)，线程独享的是Java虚拟机栈(Java Stack)，本地方法栈(Native Method Stack)和PC寄存器(Program Counter Register)。具体参见下图：1.虚拟机栈：每个线程有一个私有的栈

转载地址  在Python里面有一个模块collections，解释是数据类型容器模块。这里面有一个collections.defaultdict()经常被用到。主要说说这个东西。综述：  这里的defaultdict(function_factory)构建的是一个类似dictionary的对象，其中keys的值，自行确定赋值，但是values的类型，是function_factory的类实例，而

深度神经网络已经在语音识别、图像识别等领域取得前所未有的成功。这一篇，讲一讲经典的卷积神经网络。我不打算详细描述卷积神经网络的生物学运行机理，因为网络上有太多的教程可以参考。这里，主要描述其数学上的计算过程，也就是如何自己编程去实现的问题。一、概述回想一下BP神经网络。BP网络每一层节点是一个线性的一维排列状态，层与层的网络节点之间是全连接的。这样设想一下，如果BP网络中层与层之间的节点连