版权声明：    本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。如果有问题，请联系作者 wheeleast@gmail.com前言：    距离上次发文章，也快有半个月的时间了，这半个月的时间里又在学习机器学习的道路上摸索着前进，积累了一点心得

今天帮助一个同学解决job运行时间过长的问题， task 被kill后的 error信息是： “Lost task tracker: tracker_xxxxxx”， 从job history可以看到“Stage-2 map = 100%,  reduce = 100%”  打印了很长时间，所以怀疑是dump文件的时间过长， 然后查看代码发现她的sql中存在两个大表的join操作（9亿+ * 97

var app=require("express").createServer();app.set("view engine","ejs");

2011年度的Hadoop China大会刚刚落下帷幕，这次会议的一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，Stream Processing将会是下一个研究热点，无论是在工业界还是学术界。本文从深层次对各种典型的数据流计算系统架构及其基于的设计理念进行剖析。背景与动机背景随着当今社会数据量的日益膨胀，普通服务器组成的计算集群用于处理各种数据应用

#!/usr/bin/env python######################################################## howdoi - instant coding answers via the command line# written by Benjamin Gleitzman (gleitz@mit.edu)# inspired by Ri