文章目录前言前言众所周知在HDFS中，DataNode会进行定期的全量块汇报操作到NameNode中，来向NameNode表明其上所存储的所有块数据。这个动作在HDFS中称之为Full Block Report，简称FBR。FBR其实是一个十分expensive的操作，尤其当DataNode存储有大量block块的时候。又因为HDFS FSN全局单一锁的设计，当NameNode同时需要处理来...

文章目录前言HDFS RPC限流方案分级RPC queue的调参分级RPC queue的insight前言在前面的一篇关于分布式集群下的限流方案文章里，笔者阐述了一种在HDFS集群里的RPC限流架构。其间也提到了很多关于分布式限流架构里的关键要素，包括用户区分，分级队列的概念等等。不过上次文章更多偏向于理论原理篇，本文笔者将结合实际生产环境的特点，来给大家讲讲如何真正将限流方案实施到生产集群，并能

我的数据挖掘算法代码：https://github.com/linyiqun/DataMiningAlgorithm介绍Apriori算法是一个经典的数据挖掘算法，Apriori的单词的意思是"先验的"，说明这个算法是具有先验性质的，就是说要通过上一次的结果推导出下一次的结果，这个如何体现将会在下面的分析中会慢慢的体现出来。Apriori算法的用处是挖掘频繁项集的，频繁项集粗俗的理解就是找

CART分类回归树算法与上次文章中提到的ID3算法和C4.5算法类似，CART算法也是一种决策树分类算法。CART分类回归树算法的本质也是对数据进行分类的，最终数据的表现形式也是以树形的模式展现的，与ID3，C4.5算法不同的是，他的分类标准所采用的算法不同了。下面列出了其中的一些不同之处：1、CART最后形成的树是一个二叉树，每个节点会分成2个节点，左孩子节点和右孩子节点，而在ID3和C

前言早在2年多前，笔者曾写过一篇关于如何参与到开源社区的文章：作为一名非Committer，如何向开源社区提交自己的代码，但是现在笔者重新阅读这篇文章，发现与其讲述的参与开源的方法论，还不如帮大家仔细分析其内在本质的一些现象和原因，核心问题：为什么国内程序员无法很好的参与进开源社区？笔者在15年刚毕业不久，因为工作的机会偶然间接触到了开源，随后就一直乐此不疲，开源给我带来快乐的同时也促进着...

今天本人复习了一下，当下最流行的分布式计算平台，Hadoop，在此平台上开发，可以屏蔽程序员在大数据处理上的所要考虑的各种，多线程，高并发的问题。好，下面就好好的了解一下什么是Hadoop。  Hadoop是Apache旗下的一个开源分布式平台。以Hadoop文件系统（HDFS）和MapReduce计算模型为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。Hadoop中的HDF

现在做云存储的公司很多,举2个比较典型的AWS的S3和阿里云.他们都提供了一个叫做**对象存储**的服务,就是目标数据是从Object中进行读写的,然后可以通过key来获取对应的Object,就是所谓的key-object的存储.这样的好处就在于用户使用起来很方便的,不需要走冗杂的操作流程.但是本文所要阐述的则是HDFS中的对象存储,对于这样的需求,Hadoop作为一套完善的分布式系统,当然也要与