logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark 日志带来的空间问题

环境:ambari +hdp2.6.4最近发现hdfs的空间越来越少,少到影响数据分析处理了。使用名称查看一下到底是谁占了空间:hadoop fs -du -h /发现有两个文件夹站的空间是最大的:一个是/app-logs一个是/spark2-history删除文件夹下内容设置定时清理:## spark2-history日志spark.history.fs...

flume采集ftp上传文件到hadoop

flume服务器环境centos 7.2jdk 1.8flume 1.8hadoop平台环境centos7.2ambari 2.6.1hdp 2.6.4jdk 1.8一、ftp安装与配置参考:https://blog.csdn.net/qq_39160721/article/details/80250975二、flume安装与配置参考 :https://blog.csdn.net/qq_3916.

#flume
到底了