提到Spark Streaming，我们不得不说一下BDAS（Berkeley Data Analytics Stack），这个伯克利大学提出的关于数据分析的软件栈。从它的视角来看，目前的大数据处理可以分为如以下三个类型。 复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间。基于历史数据的交互式查询（interactive query

关于yahoo s4有官方网站：http://s4.io/， 也可以查看英文paper: S4:Distributed Stream Computing Platform, 中文翻译：http://wenku.baidu.com/view/fdfa4ef7f61fb7360b4c653a.html，不过看完paper以后再看一下这篇文章能够让你对s4理解的更好些。下面内容来源于：ht

<br />文章来源：http://highscalability.com/blog/2011/3/22/facebooks-new-realtime-analytics-system-hbase-to-process-20.html<br /> <br />Facebook did it again. They've built another system capable of doingso

本文是一篇介绍HDFS的paper，内容有些长，但值得阅读The Hadoop Distributed File System (HDFS) is designed to store very large data sets reliably, and to stream t

摘要：Spark Summit以Shark、Spark Streaming及相关项目为主题，汇聚了Yahoo、Adobe、Intel、Amazon、RedHat、Databricks等众多知名IT企业的一线专家。【编者按】Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，立足于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能

Spark StreamingSpark Streaming is an interesting extension to Spark that adds support for continuous stream processing to Spark. Spark Streaming is in active development at UC Berkeley's amplab al

The idea behind distributed RPC (DRPC) is to parallelize the computation of really intense functions on the fly using Storm. The Storm topology takes in as input a stream of function arguments, and it

2011年度的Hadoop China大会刚刚落下帷幕，这次会议的一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，Stream Processing将会是下一个研究热点，无论是在工业界还是学术界。本文从深层次对各种典型的数据流计算系统架构及其基于的设计理念进行剖析。背景与动机背景随着当今社会数据量的日益膨胀，普通服务器组成的计算集群用于处理各种数据应用

1 摘要      本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。     讲义最初介绍了一个基本问题，然后引出了线性回归的解决方法，然后针对误差问题做了概率解释。之后介绍了logist

国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.不仅仅是选中的十大算法，其实参加评选的18种算法，