磁盘资源莫名消失

结论

在linux中,当我们删除大文件之后如果有进程打开了这个大文件,却没有关闭这个文件的句柄,那么linux内核还是不会释放这个文件的磁盘空间,严重情况下甚至会造成磁盘空间占用100%

故障现象、排查思路以及解决方案

磁盘占用太多有告警,但是 du -sh * 找不到磁盘被哪个文件占用了,此时需要看一下是否有额外进程占用了已删除资源的文件句柄
如下图,df -h 发现 /data1磁盘占用已经有81G超过90%了。
disk_1.png
但是进入/data1磁盘之后 du -sh * 发现其中所有的大文件加起来只有50G,其他30G被占用磁盘资源确实消失无踪了,怎么回事??
disk_2.png
此时需要查看的就是linux系统是否依旧有进程在占用已删除资源的文件句柄:
disk_3.png
然后找到一些没有用的进程(我这里主要是一些grep 和gzip进程,当然你的机器上可能还有一起其他进程)将其kill掉就可以将这些句柄资源释放掉:

lsof /data1 | grep deleted | grep 找到需要kill的进程 | awk '{print $2}' | xargs kill -9

disk_4.png
这时再看一下/data1的大小,就可以看到有大约30G的资源被释放掉了。

Logo

更多推荐