今天有个之前的学生问了我一个问题,宣哥,你之前有没有在Linux下拆分过大文件啊?能不能简单说一下。我们稍后就围绕他问的这个问题简单聊一下。
在这里插入图片描述

Linux下大文件分割

个人常用方法主要是两方面:
1、按照篇章数分割;
2、按照文本行数分割;
3、按照文件大小分割;

按照篇章数分割

这种方式应该讲是最常见的,你首先要确定篇章级别的分隔符,然后写个脚本直接分割就可以了,记住此处如果是超大文件,你是需要做限流处理的。

按照文本行数分割

首先我们需要统计文本总行数
在这里插入图片描述
然后按照需求切分就可以了

  • head / tail 按行切分

在这里插入图片描述

  • split 按行切分

在这里插入图片描述

按照文本大小进行切分

  • split 按照文件大小进行切分

在这里插入图片描述

时间关系,今天就写到这吧。

在这里插入图片描述

Logo

更多推荐