Linux命令三剑客,老大awk,最擅长取列,老二sed,最擅长取行,老三grep最擅长过滤,Linux运维人员必会的三个命令

1.awk

awk是一种优良的文本处理工具,Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。awk命名:Alfred Aho Peter Weinberger和brian kernighan三个人的姓的缩写。
最简单地说, AWK 是一种用于处理文本的编程语言工具。

(1).awk 是一种可用于选择文件中的特定记录并对其执行操作的程序。
(2).awk 命令行语法如下
awk [options] -f progfile [–] file …

awk [options] [–] ‘program’ file …

1.options是命令行选项
2.progfile是awk程序文件
3.表示命令行选项截止,以后首字母为-的文件或其它不会视为选项
4.file为输入文件
5.program为awk程序脚本

(3).awk 可以使用管道,也可以将管道输入看做文件,可以使用-来代替
some_command | awk -f ‘program’ file1 - file2

awk常用内置变量
(1).FS(Field Separators)

1.字段分隔符,默认为" “。不仅可以是空格,还可以是\t和\n,还是组合的序列。
2.可以设置为单字符或正则。
(2).OFS(Output Field Separator)
输出字段分隔符,默认为” "
(3).RS(Record Separator)
1.记录分隔符,默认为\n。
2.记录可以不止以行分隔,当RS设置为空时,类似于设置\n\n+,可以用空行来分隔记录.
(4).ORS(Output Record Separator)
输出记录分隔符,默认为\n
(5).NR(Number of Records)
从程序开始执行,正在处理的记录数,每读一条Record加1
(6).NF(Number of Fields )
当前输入记录中的字段总数,一个新的记录被读取,NF就被重置
(7).FNR(File Number of Records)
当前文件中的当前记录编号,当一个新文件读取,FNR重置为0,而NR不会

awk 程序脚本

  1. pattern
    pattern 即模式,pattern用来查找匹配的record
    1).BEGIN 会在读入第一条record前被执行,而且只执行一次
    2).END 会在所有record读取完毕执行,也只会执行一次
    3)./regular expression/ 正则表达式,匹配输入的record
    4).expression 如果表达式的值为非零(如果是数字)或非空(如果是字符串),则模式匹配
    5).begpat, endpat 匹配范围从开始模式begpat到结束模式endpat
    6).pattern 为空,那代表匹配每一条record

  2. action
    1).action 是在匹配pattern后,需要完成的动作。使用action 时{}不能省略,如果只有pattern,没有action,那相当于{print $0}。
    2).action 包含以下类型语句
    a:表达式语句 调用函数或者为变量赋值
    b:控制语句 控制的程序流程

      If语句:有条件地执行一些 awk 语句.
      if (condition) then-body [else else-body]
    
      While语句:循环, 直到满足某些条件
      while (condition)
      body
    
      Do语句:	在循环时执行指定的操作, 直到满足某些条件.
      do
      body
      while (condition)
    
      For语句:	另一个循环语句, 提供初始化和增量子句
      for (initialization; condition; increment)
      body
    
      Switch语句:	基于值的语句,按条件执行
      switch (expression) {
      case value or regular expression:
      case-body
      default:
      default-body
      }
    
     Break语句:	终止当前循环执行
     break
    
     Continue语句:	结束本次循环,进行下一次循环
     continue
    
     Next语句:	停止处理当前输入记录
     next
    
     Nextfile语句:	停止处理当前文件
     nextfile
    
     Exit语句:	停止awk执行.
     exit [return code]
    

复合语句 用大括号包裹的多条语句
输入语句 使用getline,next,nextfile获取输入
输出语句 例如print,printf
删除语句 使用delete删除数组元素

awk 数组
awk 数组的索引可以是数字、字符串,不必是连续的正整数。数字也是被当成字符串保存的。
遍历数组
for (var in array)
body

删除数组元素
delete array[index-expression]

多维数组
多维数组的索引不是单个的索引,而是多个索引序列。例如二维数组,索引就是两个,array[x,y]
多维数组实际上还是一维数组,只是将多维数组的多个索引转化为字符串用内置变量SUBSEP来连接
多维数组遍历
for (combined in array) {
# split分割字符串为数组
split(combined, separate, SUBSEP)
# separate[1]是第一个

}

2.sed

命令格式

 sed [options] 'command' file(s)

 sed [options] -f scriptfile file(s)

常用参数

-e  #以指定的指令来处理输入的文本文件

-n  #取消默认输出(如果和p命令同时使用只会打印发生改变的行)

-h  #帮助

-V  #显示版本信息

常用命令

a\  #在当前行下面插入文本 

i\  #在当前行上面插入文本 

c\  #把选定的行改为新的文本 

d   #删除,删除选择的行 

D   #删除模板块的第一行 

s   #替换指定字符 

h   #拷贝模板块的内容到内存中的缓冲区

H   #追加模板块的内容到内存中的缓冲区 

g   #获得内存缓冲区的内容,并替代当前模板块中的文本 

G  #获得内存缓冲区的内容,并追加到当前模板块文本的后面 

l   #列表不能打印字符的清单 

n   #读取下一个输入行,用下一个命令处理新的行而不是用第一个命令 

N   #追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码 

p   #打印匹配的行 

P   #(大写)打印模板的第一行

q   #退出Sed 

b   #lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾 

r   #file 从file中读行 

t   #label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾 

T   #label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾 

w   #file 写并追加模板块到file末尾

W   #file 写并追加模板块的第一行到file末尾

!    #表示后面的命令对所有没有被选定的行发生作用 

Sed替换命令

g   #表示行内全面替换(全局替换配合s命令使用)

p   #表示打印行 

w   #表示把行写入一个文件 

x   #表示互换模板块中的文本和缓冲区中的文本 

y   #表示把一个字符翻译为另外的字符(但是不用于正则表达式) 

&   #已匹配字符串标记

Sed正则

^      #匹配行开始 

$      #匹配行结束

.      #匹配一个非换行符的任意字符

*   #匹配0个或多个字符

[]     #匹配一个指定范围内的字符

[^]    #匹配一个不在指定范围内的字符 

\(..\)  #匹配子串

&     #保存搜索字符用来替换其他字符

\<     #匹配单词的开始

\>     #匹配单词的结束

x\{m\}  #重复字符x,m次

x\{m,\}  #重复字符x,至少m次 

x\{m,n\} #重复字符x,至少m次,不多于n次

sed 实例
(1)替换 1.txt文本中word为study,代码如下
sed 's/word/study/g ’ 1. txt
(2)打印 1. txt文本第一行至第三行,代码如下
Sed -n ‘1,3p’ 1.txt
(3)打印 1.txt文本中第一行与最后一行,代码如下
Sed -n ‘1p;$p’ 1.txt
(4)删除 1.txt第一行至第三行、删除匹配行至最后一行,代码如下
Sed ‘1,3d’ 1.txt
Sed ‘/xxx/, $d’ 1.txt
(5)把文件第三行替换成“bbb”
sed ‘3cbbb’ b.txt
(6)删除空行
sed ‘/^ $/d’ passwd > c.txt
(7)把fstab中包含xfs的记录(行)写入新的文件中
sed ‘/xfs/w newfstab’ /etc/fstab

3.grep

常用参数选项
-a 不要忽略二进制数据。
-A 除了显示符合范本样式的那一行之外,并显示该行之后的内容。
-b 在显示符合范本样式的那一行之外,并显示该行之前的内容。
-c 计算符合范本样式的列数。
-C或- 除了显示符合范本样式的那一列之外,并显示该列之前后的内容。
-d 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep命令将回报信息并停止动作。
-e 指定字符串作为查找文件内容的范本样式。
-E 将范本样式为延伸的普通表示法来使用,意味着使用能使用扩展正则表达式。
-f 指定范本文件,其内容有一个或多个范本样式,让grep查找符合范本条件的文件内容,格式为每一列的范本样式。
-F 将范本样式视为固定字符串的列表。
-G 将范本样式视为普通的表示法来使用。
-h 在显示符合范本样式的那一列之前,不标示该列所属的文件名称。
-H 在显示符合范本样式的那一列之前,标示该列的文件名称。
-i 忽略字符大小写的差别。
-l 列出文件内容符合指定的范本样式的文件名称。
-L 列出文件内容不符合指定的范本样式的文件名称。
-n 在显示符合范本样式的那一列之前,标示出该列的编号。
-q 不显示任何信息。
-R/-r 此参数的效果和指定“-d recurse”参数相同。
-s 不显示错误信息。
-v 反转查找。
-w 只显示全字符合的列。
-x 只显示全列符合的列。
-y 此参数效果跟“-i”相同。
-o 只输出文件中匹配到的部分。

常用实例
多个文件搜索
grep “match_pattern” file_1 file_2 file_3
grep “match_pattern” file_*

#反向搜索
grep -v “match_pattern” file_name

#标记匹配颜色
grep “match_pattern” file_name --color=auto

#搜索本目录及子目录中所有文件
grep “text” . -r

搜索文件中排除,或包含指定文件
grep “main()” . -r --include *.{php,html}
grep “main()” . -r --exclude “README”

静默执行。不会输出任何信息,如果命令运行成功返回0,失败则返回非0值。一般用于条件测试。
grep -q “test” filename

打印匹配,之前或之后的行
grep “5” -A 3 # 打印匹配结果行之前3行
grep “5” -B 3 # 打印匹配结果行之后3行
grep “5” -C 3 # 打印匹配结果行之前和之后各3行

Logo

更多推荐