logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

MapReduce 编程模型在日志分析方面的应用

简介日志分析往往是商业智能的基础,而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析,进而挖掘出用户兴趣点这一完整流程为例,详细解释 MapReduce 模型的对应实现,涵盖在 MapReduce 编程中对于特殊问题的处理技巧,比如机器学习算法、排序算法、索引机制、连接机

#mapreduce#lucene
数据仓库中维度建模

设计数据仓库常用到的模型是维度模型。例如决策者想知道去年一年里哪个产品在哪个地区销售得最好,那么决策者想要得到的信息有3个:时间、产品和地区,这3个信息称为“维度”。维度模型的作用是将决策者所要分析的信息分为多个维度,然后创建一个多维的数据库。     使用维度模型所创建出来的数据仓库结构多为星形结构,如图所示图的中间有一个fact数据表,这个表里存储的数据称为fant(量值)。在该表

#数据仓库#数据库
数据挖掘过程体会

快要过年了,年底却不亦乐呼,就写写我对数据挖掘过程的体会吧!Step1.就是商业问题的理解了,那么如何更好的理解“老大”提出的商业问题困惑呢?我觉得思维导图倒是个不错的选择,当然自己要想更好的理解“老大”的意思还需要进一步的沟通,商业问题的理解关系到这个挖掘项目的价值,甚至成败,所以在这块大家要显得“外向”一些,多交流、多沟通、多了解这个商业问题背后的东东;

数据分析师职业介绍

做数据分析前我们首先要明确分析目的和内容,对于数据分析师而言,他们的进阶需求无外乎是各个企业对数据分析师的职位要求。在前程无忧、中华英才网以及智联招聘上,我们随便搜索下数据分析的岗位信息,都能找到大量类似于下面的一些职位要求信息:别看岗位职责,任职要求这么多,说白了主要就三点要求:1)对相关业务的理解;2)掌握一到二种数据分析工具;3)良好的沟通。可能不同的公司因为需求不同,会在要求上

推销高手亚马逊的秘密:数据挖掘

当亚马逊(Amazon)在网站上向你推荐商品时,它绝非无的放矢。从根本上讲,这家零售巨头的推荐系统推荐的基础是一系列基本元素:用户过去购买过哪些商品;他们的虚拟购物车里有什么;哪些商品被他们评价或“赞”过;其它用户浏览及购买了哪些东西。亚马逊把这套自主研发的算法称为“从项目到项目的协同过滤算法”。依靠这套算法,亚马逊向回头客们提供了深度定制的浏览体验。数码爱好者们会发现亚马逊上满是新潮电子产品

华为的云计算

——2011-11-25 07:46来源:互联网周刊作者:启言    华为一直是一家有着鲜明特色的企业,华为的云计算也同样特点鲜明。  10月31日,在正式宣布其云计算战略不到一年的时间,华为在深圳举办了“2011华为云计算大会暨合作伙伴大会”,来自全球的一千多名华为云计算合作伙伴和客户前来参会。会上华为公司正式发布了“云帆计划2012”,首次明确了华为云计算三大战略:大平台、促

#华为#云计算#网络
MapReduce工作原理图文详解

前言:前段时间我们云计算团队一起学习了hadoop相关的知识,大家都积极地做了、学了很多东西,收获颇丰。可是开学后,大家都忙各自的事情,云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下,我们云计算团队重振旗鼓了,希望大伙仍高举“云在手,跟我走”的口号战斗下去。这篇博文就算是我们团队“重启云计算”的见证吧,也希望有更多优秀的文章出炉。汤帅,亮仔,谢总•••搞起来啊!呵呵,下面

到底了