在linux中awk绝对是核心工具，特别是在查找搜索这一领域，和掌握sed命令一样重要

 

下面为awk的一些基本知识，基于这些知识，可以让你随意操控一个文件：

在awk中：()括号为条件块，{}为执行的命令块

一般情况下awk有这几部分组成：

awk 'BEGIN{}(){}END{}' file

BEGIN为初始化操作，中间为对file文件中每一行的处理，END块中为最后的输出

当然，awk不是必须这3个都有，也不是缺少谁就不行的。可以只有BEGIN，也可以只有END

 

print命令

打印文件内容

awk '{print}' datafile

 

-f参数

执行awk脚本，如脚本为hello.awk

awk -f hello.awk datafile

 

$number

表示记录的字段，其中$0表示整个串

 

FS

表示字段分隔符，如下以逗号作为分隔符

awk 'BEGIN{FS=","}{print}' datafile

当写脚本文件时，一般用FS

 

-F参数

同FS作用一样，设置分隔符，如

awk -F "," '{print $1}' datafile

 

NF

表示当前记录行中的字段数量

 

NR

表示当前记录的编号，即行号

 

FNR

当前浏览文件的记录数

 

FS="\t+"

表示以一个或多个制表符作为分隔符

 

OFS

字符分隔符，俩个字段间插入分隔符

 

RS

记录分隔符，即一行的分隔符

 

ORS

输出记录分隔符，俩个记录间(行)插入

 

OFMT 数的输出格式

CONVFMT 数值的内部转换格式

 

布尔表达式

awk -F "," '$1=="Hello" {print $1}' datafile

只有第一个参数值为Hello时，才打印第二个

 

length(string1)

返回string1长度

 

index(string1,string2)

返回string2在string1中的位置，没有返回0

 

tolower(string1)/toupper(string1)

返回大小写

 

substr(string1,5,3)

从string1的第5位置开始截取长度为3的字段

 

match(string1,/you/),RSTART,RLENGTH

match匹配的是一个正则表达式

RSTART返回第一个匹配的位置

RLENGTH指定他占据的字符跨度，没有为-1

 

gsub/sub(/My/,"You",string1)

gsub全局替换，sub只替换第一个

如上为在string1中查找My并替换为You

 

split(string1,strarray,",")

print strarray[1],strarray[numelements]

把string1以逗号分割，并传入到strarray组中

从1开始编号

 

删除重复行(必须先排序)

sort  datafile|awk '{if($0!=line)print;line=$0}'

 

FILENAME

awk中特殊存在，用于表示文件

awk 'END{print FILENAME}' datafile

打印file名字

若有多个输入文件则可以用于判断，如:

awk 'if(FILENAME=="file1"){arr[$3]=$1}else{($1 in arr){print arr[$1]"|"$2}} file1 file2

注意:awk先处理前面文件再处理后面文件

 

ARGIND

当前被处理参数标记

 

ARGC

命令行参数个数

 

ARGV

命令行参数排列

 

ENVIRON

支持队列中环境变量的使用

 

next

下一个命令不执行

awk '(NR%2=1){next}{print}' f1

awk 'NR==FNR{a[$0]=$0;next}a[$0]{print a[$0],$0}

 

nextfile

中断当前文件处理，进入下个文件处理:

awk '{print FILENAME;nextfile} f1 f2

打印俩个文件名，多用于查找文件

 

exit

停止awk，并执行END语句块后退出

 

定义函数:

awk '{print "sum=",sqrtsum($1,$2)}function sqrtsum(x,y){return x*x+y*y}' file

awk '{print "sum=",$1*$1+$2*$2}

 

-v

加载环境或shell中的参数

awk-F \| -v ORAHOME=${ORA_HOME} '{print $1"|"ORAHOME>"datafile1"} datafile

或者如下:

awk-F \|  '{print $1"|"ORAHOME>"datafile1"} ORAHOME=${ORA_HOME} datafile

注：若在BEGIN中使用环境变量，则必须使用-v模式

 

getline

获取文件的行内容，一般放在BEGIN中

一个getline获取一行，也可以保存到变量

awk 'BEGIN{getline var1}END{print var1}' file

 

打印5行之后的行:

awk 'NR>5' file

打印2到6行:

awk 'NR==2,NR==6' file

打印前5行:

awk '!(NR>5)' file

awk 'NR<6' file

打印5倍数的行:

awk '(NR%5==0){print}' file

awk '!(NR%5){print}' file

 

awk中相关操作符使用

~操作符

俩边匹配符，可模糊比较，如:

awk 'BEGIN{FS="|"}($2~/..My./){print}' file

表示在第二个字段中包含5个字符，其中第3、4个字符为My的行

比较运算符

==俩边相等

>

>=

<

<=

!=俩边不等

~ 匹配正则表达式

!~ 不匹配正则表达式

‖逻辑或

&& 逻辑与

算术运算符

+      加法

-       减法

*      乘法

/      除法

^     指数算法

%    模算法

--     自-1(前后自减)

++   自+1(前后自加)

+=    自加算法

-=      自减算法

*=      自乘算法

/=      自除算法

^=     自指数算法

%=    自模算法

统计文本中空行数量

awk 'BEGIN{x=0}/^$/{x+=1}END{print x}' datafile

/^$/表示空行

正则表达式:

\      转义符

^      行首符

$      行尾符

.        匹配一个字符

[ ]      匹配其中一个字符

|        或操作

( )     判断语句

*       匹配0个或多个前面的字符

+      匹配前面一个或多个字符

?      匹配模式出现频率

 

if语句

if($1=="foo"){

    print "foo"

}else if($1=="bar"){

    print "bar"

}else{

    print "other"

}

 

do..while语句

{

count=6

do{

     print count

     count--

    }while(count！=1)

}

 

while语句

{

while(x<NF){

     print $x

     x++

   }

}

for语句

for(x=1;x<=5;x++){

    print x

}