logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop核心组件详解—HDFS、YARN、MapReduce

Hadoop 是一个开源的分布式计算和存储框架,它的作用非常简单,就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境,并能为其他分布式应用服务提供平台支持,相当于在某种程度上将多台计算机组织成了一台计算机。Hadoop 框架最根本的原理就是利用大量的计算机同时运算来加快大量数据的处理速度。Hadoop 集群可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点。适合一次写入,多次

#hadoop#hdfs#mapreduce +1
数据指标体系

建立指标体系的目的:获取全局性的、有体系性的信息;进而通过这些信息去驱动业务的发展,达成组织目标。指标体系的本质:指标库 + 关联关系 + 使用指南。评价指标体系的标准:一套好的指标体系,应该能够帮助我们实现4个目标:描述现状、洞察原因、预判未来、改善未来。搭建指标体系的过程:理解业务、量化业务、建立体系、交付资产。指标体系对组织的作用:统一语言、统一方向、收集信息提炼价值。

#大数据
零基础CDH5Hadoop安装及踩坑实践(附资源)

@[TOC]一、安装配置虚拟机(1)安装1个master和2个slave节点VMware及CentOS安装步骤参考:https://blog.csdn.net/m0_50519965/article/details/116175873按照以上步骤安装好虚拟机之后会遇到一下几个问题:1.在CM上安装主节点parcel的时候提示磁盘空间不足,因此建议master节点的磁盘空间增加到40G或60G,我的

文章图片
#hadoop#经验分享
hive复杂类型数据详解—array,map,struct

hive复杂数据类型有三种,map,array,struct。本文会详细介绍三种类型数据的建表、查询、相关函数以及与其他数据类型的相互转换。目录一、简介二、建表语句三、类型构建四、查询array类型map类型struct类型五、与其他数据类型转换将array和map转化为基本数据类型(行转列)基本数据类型转化为array、map(列转行)一、简介map 是一种(key-value)键值对类型;ar

#hive#学习#数据仓库
到底了