logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

彻底理解MapReduce shuffle过程原理

MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程?我们都知道MapReduce计算模型一般包括两个重要的阶段:Map是映射,负责数据

提升BI架构

Kimball的生命周期方法论描述了构建丰富的业务智能(BI)环境所需的支持:a) 发布标准化的报表和平衡计分卡:描述业务现状如何?b) 识别异常:有哪些异常情况?c) 探究因果关系:为什么会产生异常情况?这一步骤特别具有挑战性,因为新查询可能会需要新的数据源。d) 模型预测或者What-if分析:下一年度业务会怎样?e) 跟进行动:所做出的决策影响如何?我们的方法论描述了如何从头开始

#数据仓库#数据挖掘
数据挖掘进行数据分析常用的方法

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等, 它们分别从不同的角度对数据进行挖掘。    ① 分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据库中的数据项映射到某个给定的类别。    它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户

数据挖掘之回归分析

回归分析概念回归分析(regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛,回归分析按照涉及的自变量的多少,可分为一元回归分析和多元回归分析;按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。如果在回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称

如何架构一个BI系统

刚开始接触软件工程的时候,知道其中一个步骤叫做“总体设计”,做这项工作的人就叫“软件设计师”。当时觉得这个名称比软件开发工程师酷多了。到了现在,又开始流行“架构师”(Architect),这个名称听起来比软件设计师又酷了几分。   如今,如果你偶尔遇到一个年轻人,也就是二十出头、三十不到的样子,却客客气气地给你递上一张注明“数

#数据仓库#数据分析
Docker到底是什么?

如果你是数据中心或云计算IT圈子的人,这一年多来应该一直在听到普通的容器、尤其是Docker,关于它们的新闻从未间断过。Docker1.0在今年6月发布后,声势更是达到了前所未有的程度。 动静之所以这么大,就是因为许多公司在以惊人的速度采用Docker。在今年7月的开源大会(OSCon)上,我遇到了早已将服务器应用程序从虚拟机(VM)转移到容器的无数企业。的确,Docker

Docker快速安装部署

Docker是一个开源的容器引擎,可以轻松的为任何应用创建轻量级、可移植的、自给自足的容器。Docker容器可以批量在生产环境中部署,支持物理机、vm虚拟机、OpenStack等iaas层基础设施。 Docker通常应用于如下场景:web应用的自动化打包和部署;自动化测试和持续集成、部署 应用系统微服务化改造通过mesos和kubernetes等框架做集成来搭建自己的Paas环境

从零开始安装、编译、部署 Docker

简介主要介绍如何从基础系统debian部署docker关于docker基础知识在 相关资料 里有链接安装docker1、使用root用户身份添加apt源添加public key使docker的安装源授信$ curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2

数据挖掘之回归分析

数据挖掘之回归分析综述史赵锋(长春理工大学   信息与计算科学系)摘要:数据挖掘中回归分析方法是建立复杂对象外特性模型的一类重要方法.此文对现有各种回归方法进行了综述.采用一个统一的目标函数来解释各种回归方法,并以此为基础,系统介绍了各种回归分析方法(包括常见的主成分分析法和部分最小二乘法(PLS))的意义、结构、算法、特性及其相互关系.关键词: 简单线性回归, 多元线性回归,非线

Struts+Spring+Hibernate开发实例

Struts+Spring+Hibernate开发实例一 介绍本文并不想介绍Struts,Spring,Hibernate的原理系统架构等,本文地目的是通过一个较复杂地实例介绍如何整合Struts,Spring,Hibernate,网上现有的例子虽然也能达到目的,但功能都比较单一,复杂的例子时会有意想不到的麻烦。本文对读者假设已经具备了以上框架的基础知识。以及那些已经了解Struts,

    共 11 条
  • 1
  • 2
  • 请选择