文章目录写在前面一、pandas是什么？写在前面       本篇文章对于想了解Flume采集数据至HDFS的过程中有哪些需要注意的小伙伴有一定的帮助，这里为了模拟真实环境，临时搭建一台虚拟机，将数据存入TOMCAT中后，我们将数据从当前虚拟机传输至另外一台虚拟机的HDFS上。环境所涉及版本：apache-tomcat-8.5.

目录一、RDD依赖与DAG原理1.1 RDD的转换一、RDD依赖与DAG原理        Spark根据计算逻辑中的 RDD的转换与动作生成 RDD的依赖关系，同时这个计算链也形成了逻辑上的 DAG。1.1 RDD的转换e.g.(以wordcount为例）package sparkimport org.apache.

一、集群整体方案设计hd01hd02hd03作用NameNode(主)activeNNNameNode(备)standbyNNDFSZKFailoverController故障自动转移JournalNodeNamenode数据同步DataNode数据节点ResourceManager(主)主资源管理进程ResourceManager(备)备份资源管理NodeManager节点

这里写目录标题一、什么是数据仓库1.1 数仓的特点a.数据面向主题b.数据是集成的二、数仓和数据库的区别三、数仓的数据来源四、数仓的分层五、数仓的数据模型六、数仓调优七、数据维护一、什么是数据仓库        数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创

PS：       使用hbase前，请务必先安装好Hadoop,并且启动Hadoop的服务后才可以正常使用hbase！       Hadoop安装地址：https://blog.csdn.net/wsjslient/article/details/1096

JDK&MYSQL数据库安装目录一、解压安装包二、配置环境变量三、yum安装四、rpm安装mysql一、解压安装包       1.首先我在/opt文件目录下新建了两个文件夹，download和software。之后我将下载好的JDK安装包通过Xftp放到了刚刚新建的download文件夹里。  &n

这里写目录标题一、什么是数据仓库1.1 数仓的特点a.数据面向主题b.数据是集成的二、数仓和数据库的区别三、数仓的数据来源四、数仓的分层五、数仓的数据模型六、数仓调优七、数据维护一、什么是数据仓库        数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创

目录前言安装ESXI服务器安装Centos主机前言ESXI是VMware的企业虚拟化产品，可视为虚拟化的平台基础，部署于实体服务器。不同于VMware Workstation、VMware Server，ESXI采用的是（裸金属或裸机）的一种安装方式，直接将Hypervisor 安装在实体机器上，并不需要实现安装OS。Hypervisor就是掌握硬件资源的微内核。ESXI 专为运行虚拟机、最大限度

文章目录前言Handle Process前言博主本人固态空间不够，之前有将虚拟机从固态盘移动至了机械盘中存储，之后再移入固态盘启动虚拟机时突然发现无法启动了，这可把我吓一跳，不过最终还是找到了一个解决方法，这里和大家分享下经验！Handle Process启动虚拟机直接报错，系统找不到指定文件，我完整复制镜像还有这问题？不信邪的我去根目录下一探究竟来到虚拟机根目录下，发现计算机骗我，指定文件明明在

目录前言一、安装前的准备二、shell安装&配置1.检查&删除残余文件2.前言        在使用计算机的时候，我们的程序越来越多，服务也越来越多，所以我们在拿到一台新机器的时候总是习惯性的去安装那些我们常用的程序&服务；使用虚拟机时也是一样的，所以为了方便以后的操作，我们可以尝试写shell