logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

HIVE 分布式数据仓库

⭐ 中学生理解彩蛋:Hive就像是老师布置小组作业,但每个组员都同时做自己的部分,最后课代表一合并,再大的作业也能飞快完成。“Hive = 让你用熟悉的SQL,调动成千上万台电脑帮你处理超大规模数据,就像全班同学帮你一起整理巨型图书馆!:存放历年所有试卷、档案、课外书,容量巨大,适合做长期分析和报表,但不需要像书包那样毫秒级拿一支笔。,复制三份放在不同电脑上。,你只要说“帮我找出去年数学成绩大于9

#数据仓库#hive#分布式
大数据分部式集群

◦ 重点:除了核心HDFS、YARN、MapReduce外,还有Spark(计算引擎)、Hive(数据仓库)、HBase(数据库)、ZooKeeper(协调服务)等。◦ 重点:记住/etc(配置文件)、/home(用户目录)、/var(数据日志)、/usr(软件安装)。◦ 重点:搞清楚哪个工具是用来跑系统的(VMware),哪个是用来远程操作的(SecureCRT),哪个是用来传文件的(Secur

#大数据
Ambari 大数据环境搭建

注意:Ambari 会自动帮你检查依赖,比如选了 HBase,它会提醒你必须装 ZooKeeper。你想装一个游戏(软件),不需要自己去找安装包、解决各种依赖问题,商店会自动帮你下载、安装好。老师(Server)说:“所有同学(Agent)安装 JDK”,工人就去装。你的电脑(Linux)会先去一个“软件仓库”看看有哪些软件。手动每台机器配 IP、装 JDK、改配置文件、解决版本冲突…配置好 Yu

#大数据#ambari#hadoop
HIVE 分布式数据仓库

⭐ 中学生理解彩蛋:Hive就像是老师布置小组作业,但每个组员都同时做自己的部分,最后课代表一合并,再大的作业也能飞快完成。“Hive = 让你用熟悉的SQL,调动成千上万台电脑帮你处理超大规模数据,就像全班同学帮你一起整理巨型图书馆!:存放历年所有试卷、档案、课外书,容量巨大,适合做长期分析和报表,但不需要像书包那样毫秒级拿一支笔。,复制三份放在不同电脑上。,你只要说“帮我找出去年数学成绩大于9

#数据仓库#hive#分布式
NoSQL和HBase

(不仅仅是 SQL)。它不像传统数据库要求每条数据格式完全一样。📌 想象一下:学校的社团登记本—— 围棋社要记录“棋力等级”,摄影社要记录“相机型号”。传统表格很难搞,但 NoSQL 可以自由添加字段,就像贴便签一样随性!✅ 灵活:存什么结构都行(JSON 文档、图片、地图位置)✅ 海量数据:能分布在上千台服务器上一起工作✅ 速度快:不用复杂 join 联表,专为互联网场景设计// 举个例子:一

#nosql#hbase#数据库
到底了