logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

云计算复习之Spark(Scala版)期末复习整理

shark直接从hive里面搬过来的,只有蓝色部分,转换成spark,提升性能。

文章图片
#云计算
云计算复习之Hive数据仓库期末复习整理

首先,hive是一个构建于hadoop集群之上的数据仓库应用。那么,得先了解一下什么是数据仓库?数据仓库是一个数据集合,用于支持管理决策。简单来说就是为了分析数据而设计的仓库。那么hive就好理解了,hive是一个翻译器,不具备计算能力,存储能力,是一个构建于hadoop集群之上的系统,用于存储和处理数据。而它将得到的数据映射到一张数据表,然后存储在hafs之上。

文章图片
#数据仓库#hive#hadoop
Kafka基本概念及其配置--docker desktop下的配置(尚未更新完成)

Apache Kafka 是一款开源分布式流处理平台。可以用来发布和订阅数据以及对数据进行实时或者离线处理。

文章图片
#zookeeper#kafka#docker
Kafka基本概念及其配置--docker desktop下的配置(尚未更新完成)

Apache Kafka 是一款开源分布式流处理平台。可以用来发布和订阅数据以及对数据进行实时或者离线处理。

文章图片
#zookeeper#kafka#docker
到底了