作者：朱赛凡一 数据分析处理需求分类1 事务型处理在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点：一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列；三

作者：朱赛凡2) 并行计算引擎层(1) 并行计算形式并行化可以分为水平并行(无依赖并行)与垂直并行(流水线并行)两类。如下图：如果两个操作OP1、OP2 无相互依赖关系，则称这两个操作相互独立。水平并行化指的是互相独立的多个操作或者一个操作内互相独立的多个子操作分别由不同的处理机并行执行的形式。例如，排序操作、扫描操作由不同处理机并行执行就是水平并行化的实例。

作者：朱赛凡四 大数据背景下数据分析挖掘技术介绍1　Mahout与MLlib项目数据分析挖掘主要涉及两个方面：一是数据预处理；二是数据挖掘。在数据预处理方面，根据掌握资料来看，大型互联网公司主要以MapReduce、Storm等计算框架为主，这些平台可以较好解决大数据预处理面临并行计算和处理灵活性的问题。但是个人认为spark、tez等属于MapReduce升级版本，因

二 大数据背景下事务型处理系统相关技术在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：(1)数据库分片，结合业

在系统掉电或者因为服务器故障直接按电源按钮时，经常会出现即使物理磁盘没有任何故障，而数据库系统或者文件系统损坏情形。数据是最宝贵的资源，为此对此方面问题进行研究。系统突然掉电导致数据丢失主要原因是由于各个层面的数据缓存导致：突然掉电导致缓存中的数据丢失，从而使得数据库文件和文件系统数据不一致，导致数据丢失。此种错误可认为属于逻辑错，区别因为物理磁盘坏道等情况导致的物理错误。

作者：朱赛凡一 数据分析处理需求分类1 事务型处理在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点：一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列；三

基本概念 联机实时分析(OnlineAnalytical Processing, OLAP (/ˈoʊlæp/))技术是快速响应多维分(Multidimensionalanalysis, MDA)的一种解决方案。  首先，解释下什么是多维分析：多维分析是一种数据分析过程，在此过程中，将数据分成两类：维度dimensions)和度量(metrics/measurements)。维