Chord算法原理介绍可以先了解下，本文侧重Chord的实现，具体是构造Chord环的实现，即如何初始化和新增节点。其他对环的操作都可以类比，而且实现会更简单。Chord的开源实现主要有两个，一个是单机版的jchord，另一个是集群形式的open chord项目。以下描述都是参考开源项目代码展开的。下面简单总结我对Chord的理解。Chord这种DHT的实现，本质上是在一致性哈希的基础上，增加了F

MongoDB是最易用的NoSQL，比较适合取代MySQL做一些存储，不过不是强一致性的。本文介绍一下MongoDB各种部署方式，并分享一些感受。前两部分“单机部署”和“主从部署”是“分片部署”的基础。MongoDB单机部署启动下载来的MongoDB包的bin目录下的mongod.exe即可打开MongoDB服务，可以添加的基本配置是：./mongod.exe --db

Catalyst定位其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询，需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。对应上图中，主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程，物理执行计划基于成本的优化模

转载请注明出处：http://blog.csdn.net/zbf8441372把一些好的，有用的博文搜集在这里，陆续更新，主题大都是涉及到分布式系统，文件和存储之类，还有云计算，包括一些强大的，热门的open-source，包括NoSQL生态系统，Hadoop家族，lucene全文搜索工具，一些Apache项目等等。另外一些比较好的站点和博客地址，可以拓展阅读。20. REST相关

上周看了O`Reilly的《OpenStack》，让人很失望，架构性的分析很少，大多是部署的内容，实用性也是有限，也怪不得没有人翻译它。OpenStack是一个开源的IaaS实现方案，是一套构建云的框架，有Nova这套比较成熟的虚拟机管理方案。趁着上周在上海的Openstack亚太技术大会，侃侃业界大小公司对公有

我们是全球领先的云数据库技术团队，这里有极具挑战性的岗位期待你的加盟： 阿里云-数据库技术组-分布式数据库研发工程师岗位描述:1.负责云数据库分布式计算引擎或者列存索引等核心模块的研发工作2.负责提升系统的易用性、稳定性，提升资源利用率和性能。岗位要求:1.在分布式计算/存储/数据库/OLAP等领域有3-5年的开发和优化经验者优先2.对开源的Hadoop/Spark/

一直受传统RDB的影响，对于数据库表的设计可能大多数开发者都形成了思维定势。在云计算和大数据背景下，RDBMS正在接近极限，KV存储将受到越来越多的关注。学习NoSQL，不求能革RDBMS的命，但希望在设计思路上能得到一些拓宽，很多场景里，SQL表的设计和计算语句其实蛮难受的。RDBMS天生不是分布式的，因其保持着ACID的特性发展至今，非常重视数据完整性，但在机器规模增长的情况下，ACID是不可

这是前段时间在看spark的python支持的时候，简单过了一下pyspark里的python代码，整理了一个大致流程。虽然几乎不会python，但基本上能看懂pyspark是怎么让不同虚拟机之间传输数据的、如何在python环境调用java类的、pyspark SDK的丰富程度取决于什么、需要做些什么流程和封装等。我看了下，应该只有Pyspark Internals这篇wiki里介绍了pyspa

转载请注明出处：http://blog.csdn.net/zbf8441372写在前面：        Windows Azure是微软发展出来的一套云操作系统，用来提供云联机服务所需要的操作系统与基础存储与管理的平台。我关注Azure这个平台，主要是想了解他的架构，以及他的云计算存储技术。我觉得一个好的操作系统，就是一个好的架构。Windows Azure Platform现阶段提供

Slave模块三种Executor的设计，主要考虑的是各个Executor挂掉之后，怎样保证数据处理的不重复和不遗漏。我们依赖Zookeeper的可靠性，记录、更新、判断Bundle的状态，做到Input、Cache、Output各司其职，最到最小粒度的容错。Executor本身的失败和重启则由Mesos保障，Mesos作为资源管理系统，由Master监控Slave上各个Executor的执行状况