logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据之Hadoop——HDFS

1 HDFS概述1.1 HDFS产出背景及定义1.1.1 HDFS产生背景随着数据量越来越多,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.1.2 HDFS定义HDFS(Hadoop Distributed File System)...

#hadoop#hdfs
大数据之Phoenix

Current release 4.16.0 can run on Apache HBase 1.3, 1.4, 1.5 and 1.6. Current release 5.1.1 can run on Apache HBase 2.1, 2.2, 2.3 and 2.4 CDH HBase 5.11, 5.12, 5.13 and 5.14 is supported by 4.14.0.Apa

#hbase
大数据之Hive入门

1 Hive基本概念1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序,执行流程如下:1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yar...

#hive#大数据
大数据之Flume进阶

1 案例1.1 配置单个流1.1.1 实时读取本地文件到HDFS案例# Name the components on this agenta1.sources = r2a1.sinks = k2a1.channels = c2# Describe/configure the sourcea1.sources.r2.type = execa1.sources.r2.command...

#flume
SpringMVC源码分析之DispatcherServlet

DispatcherServletDispatcherServlet的doDispatch方法源码如下:protected void doDispatch(HttpServletRequest request, HttpServletResponse response) throws Exception {HttpServletRequest processedRequest...

到底了