logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop支持LZO压缩文件的分片的过程

关于LZO和LZOPLZO是一个适合实时解压、压缩的压缩库。LZOP 基于LZO库的压缩解压工具,lzop工具依赖于lzo库。有了压缩解压库LZO,还不能直接操作文件压缩解压,需要LZOP。lzop是一款与gzip很类似的文件压缩工具,它使用lzo压缩库来提供服务,与gzip工具相比,它的最大优势就是极快的压缩速度和解压速度(在相同的压缩比例的前提下)。...

如何定位block块损坏的位置以及修复方法

本文模拟hdfs上block块损坏之后,如何定位损坏的块,并修复。关于hdfs fsck命令在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。注意:fsck命令必须由HDFS超级用户来执行,普通用户无权限。执行hdfs fsck命令后,会显示出相关的用法。[hadoop@hadoop001 logs]$ hdfs fsck此...

#hdfs
编译hadoop-3.2.2源码并支持lzo压缩

编译hadoop-3.2.2源码1.参考官网:https://github.com/apache/hadoop/blob/trunk/BUILDING.txt2.编译环境虚拟机:VM15Linux系统:Centos7Jdk版本:jdk1.8cmake版本:3.20.2Hadoop版本:3.2.2Maven版本:3.8.4Protobuf版本:2.5.0findbugs版本(可以不用):findbu

#hadoop#apache#大数据
到底了