logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据从入门到精通(超详细版)之Hive的案例实战,ETL数据清洗!!!

前面我们已经学习完了Hive的各自基本操作与基础知识,本文主要介绍Hive的实战篇章,主要关于真实环境下会遇到的各种问题,其中主要是Hive的数据清洗工作。

文章图片
#大数据#hive#etl +2
大数据从入门到精通(超详细版)之HDFS详解,学不会算我输!!!

HDFS是Hadoop 的分布式文件系统,用于存储大规模数据集并在 Hadoop 集群中进行分布式处理。这里怎么理解呢?就类似于这种关系,所有用户,系统等等都会产生数据,这些数据会存储在哪里呢,就存储在HDFS当中,HDFS作为Hadoop集群框架当中存储数据的空间,Hive讲HDFS当中的数据转为可分析的结构化数据,Yarn负责对这些数据的任何操作,这三大组件各司其职,完成了整个Hadoop框架

文章图片
#大数据#hdfs#hadoop
大数据从入门到精通(超详细版)之HDFS安装部署 , 跟着部署 , 真的有手就行 !

前面我们已经介绍了HDFS的入门知识与原理,对HDFS的使用场景已经有了一个初步的认识,现在我们开始动手实操HDFS的安装吧,HDFS安装好了,对后续学习大数据的其他组件也起到一个铺垫作用。

文章图片
#大数据#hdfs#hadoop +1
后端开发从小白到大佬之Linux的命令(一):nohup,详解底层!!!

首先需要找到要关闭的进程的进程ID(PID),可以使用ps命令或者top命令来查看所有正在运行的进程。默认情况下,kill命令发送的是SIGTERM信号,这是一个终止进程的常规信号。命令来运行那些需要较长时间才能完成的任务,或者需要在长时间运行的过程中保持连接的任务,我们java的jar包就是一个很好的选择。命令会列出所有正在运行的进程的信息,包括系统进程和其他用户的进程。默认情况下,killal

文章图片
#linux#python#运维
到底了