今天帮助一个同学解决job运行时间过长的问题， task 被kill后的 error信息是： “Lost task tracker: tracker_xxxxxx”， 从job history可以看到“Stage-2 map = 100%,  reduce = 100%”  打印了很长时间，所以怀疑是dump文件的时间过长， 然后查看代码发现她的sql中存在两个大表的join操作（9亿+ * 97

var app=require("express").createServer();app.set("view engine","ejs");

2011年度的Hadoop China大会刚刚落下帷幕，这次会议的一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，Stream Processing将会是下一个研究热点，无论是在工业界还是学术界。本文从深层次对各种典型的数据流计算系统架构及其基于的设计理念进行剖析。背景与动机背景随着当今社会数据量的日益膨胀，普通服务器组成的计算集群用于处理各种数据应用

1 摘要      本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。     讲义最初介绍了一个基本问题，然后引出了线性回归的解决方法，然后针对误差问题做了概率解释。之后介绍了logist

#!/usr/bin/env python######################################################## howdoi - instant coding answers via the command line# written by Benjamin Gleitzman (gleitz@mit.edu)# inspired by Ri