本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ,觉得对AWK入门非常有帮助,所以对其进行了粗略的翻译,并对其中部分内容进行了删减或者补充,希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程,帮助小伙伴们快速掌握AWK的基本使用方式,当然,我也是刚开始学习AWK,本文在翻译或者补充的过程中肯定会有很多疏漏或者错误,希望大家能够帮忙指正。
本文将会持续修正和更新,最新内容请参考我的 GITHUB 上的 程序猿成长计划 项目,欢迎 Star。
概述
AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。
GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。
AWK的类型
下面是几个AWK的变体:
AWK – 原先来源于 AT & T 实验室的的AWK
NAWK – AT & T 实验室的AWK的升级版
GAWK – 这就是GNU AWK。所有的GNU/Linux发布版都自带GAWK,它与AWK和NAWK完全兼容
AWK的典型用途
使用AWK可以做很多任务,下面是其中一些
文本处理
输出格式化的文本报表
执行算数运算
执行字符串操作等等
工作流
要成为AWK编程专家,你需要先知道它的内部实现机制,AWK遵循了非常简单的工作流 – 读取,执行和重复,下图描述了AWK的工作流。
![](http://mmbiz.qpic.cn/mmbiz_jpg/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5ic2Y8axiaibvah1Ixn9pPT7b8Pgq2AQEKh820iaj9aOIuw4PS2DM9ulJ3w/640)
Read
AWK从输入流(文件,管道或者标准输入)中读取一行,然后存储到内存中。
Execute
所有的AWK命令都依次在输入上执行。默认情况下,AWK会对每一行执行命令,我们可以通过提供模式限制这种行为。
Repeat
处理过程不断重复,直到到达文件结尾。
程序结构
现在,让我们先学习一下AWK的程序结构。
BEGIN 语句块
BEGIN语句块的语法
BEGIN {awk-commands}
BEGIN语句块在程序开始的使用执行,它只执行一次,在这里可以初始化变量。BEGIN是AWK的关键字,因此它必须为大写,注意,这个语句块是可选的。
BODY 语句块
BODY语句块的语法
/pattern/ {awk-commands}
BODY语句块中的命令会对输入的每一行执行,我们也可以通过提供模式来控制这种行为。注意,BODY语句块没有关键字。
END 语句块
END语句块的语法
END {awk-commands}
END语句块在程序的最后执行,END是AWK的关键字,因此必须为大写,它也是可选的。
让我们创建一个包含序号,学生姓名,科目名称和得分的文件 marks.txt.
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
下面的例子中我们将会显示文件内容,并且添加每一列的标题
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic51DaIX7rjWhDSzdg60RWQUaibFlenLL3ntFTFHOf9uzlZ3thoYQ3aldQ/640)
上述代码执行后,输出以下内容
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5FJ85lB53WFJNmUZTCvXZMK3nlSXNBGBvYleaBKV127MAb1MRKoosvw/640)
在程序的开始,AWK在BEGIN语句中打印出标题。然后再BODY语句中,它会读取文件的每一行然后执行AWK的print命令将每一行的内容打印到标准输出。这个过程会一直重复直到文件的结尾。
基础语法
AWK的使用非常简单,我们可以直接在命令行中执行AWK的命令,也可以从包含AWK命令的文本文件中执行。
AWK命令行
我们可以使用单引号在命令行中指定AWK命令
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic57wZM1w9hmHng8wOib73A174kWmBfwEyofsS9xmYEG49f6USibyT0bbAQ/640)
AWK程序文件
我们可以使用脚本文件提供AWK命令
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic51nRJ314ap2yicvcLeOAZcyxTp6bzCAhNJkVT7jAUaWsA8dnD99pTP2A/640)
AWK标准选项
AWK支持下列命令行标准选项
-v 变量赋值选项
该选项将一个值赋予一个变量,它会在程序开始之前进行赋值,下面的例子描述了该选项的使用
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5cGGwogtdhEuGX7ic2rp551Pj5r1ybER7nG1MpvKWsqWmDeiaupYPNW0w/640)
--dump-variables[=file] 选项
该选项会输出排好序的全局变量列表和它们最终的值到文件中,默认的文件是 awkvars.out。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5JyAUVic41GibldONxX3PtRsymcLP43PrY8JXB4qeUGLqWvEYM5Ln34Rw/640)
--help 选项
打印帮助信息.
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5B32YQg4icib1GH7gUGnlwYDfG7lA7pwE62sOx902COhLKRwbbIGb5ibSQ/640)
--lint[=fatal] 选项
该选项允许检查程序的不兼容性或者模棱两可的代码,当提供参数 fatal的时候,它会对待Warning消息作为Error。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5w18jUottGVOpua2tDa0PbFbv5tJGT2St0iboG5wBwwrqpyPMKDlaM8g/640)
--posix 选项
该选项开启严格的POSIX兼容。
--profile[=file]选项
该选项会输出一份格式化之后的程序到文件中,默认文件是 awkprof.out。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5v5zKXhp6OhHPFgE21wWsBiac1FdZhVjxErI3pfy8emrfoOkV1qBulAQ/640)
--traditional 选项
该选项会禁止所有的gawk规范的扩展。
--version 选项
输出版本号
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5UM2EJDWmJia3FLQibqJwrXZb0ibAwPcS0UIFGlmQiaoSteLXCLibzouYQNw/640)
基本使用示例
本部分会讲述一些有用的AWK命令和它们的使用示例,所有的例子都是以下面的文本文件 marks.txt 为基础的。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5iactTD9PoHMicz6bticQhcT4QibFibSQoC8V6hDv02OT8cESozHqBm6VuwQ/640)
在文件marks.txt中,第三列包含了科目名,第四列则是得分,上面的例子中,我们只打印出了这两列,$3 和 $4 代表了输入记录中的第三和第四个字段。
打印所有的行
默认情况下,AWK会打印出所有匹配模式的行
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5IfABIt7CN1rGuj89pOQ3em9Wqeh2yOvy5ymcHv9BgjuZ0WP18ekTRA/640)
打印匹配模式的列
当模式匹配成功时,默认情况下AWK会打印该行,但是也可以让它只打印指定的字段。例如,下面的例子中,只会打印出匹配模式的第三和第四个字段。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5YiaNo7SOgiasUdkKAXicCh5h247oW8Kp0dedy5hwX8ALr31KmvVNhQ1hA/640)
任意顺序打印
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5icZuHAOolDJ36ZiaibTydIjibiaKPZM6jsJKDCYcLCkf7SkBe44tCIeZ0qw/640)
打印超过18个字符的行
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5ib1eqRtauaKoSsI5Ikuq2icPT7J9TITLwJia7vejXYRezGqt28OHVNicxg/640)
内建变量
AWK提供了很多内置的变量,它们在开发AWK脚本的过程中起着非常重要的角色。
标准AWK变量
ARGC 命令行参数个数
命令行中提供的参数个数
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5NthYkq3nBb44fTTj1Fub9TmznicMUmI34rgK8H9UMUqDZhmSF8HGv1Q/640)
ENVIRON 环境变量
环境变量的关联数组
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5DvNvict9TWiaiaGAPoGEvXVwbAibmL5szicVfF131UD3kXmN3ib0GibY5pBBQ/640)
NF 字段数目
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5Feiclric3xpQNL0zfz3IbhYK23LS9QiaWz5RtopKLBfro5c5uCbM4CJdQ/640)
OFS 输出字段分隔符
输出字段分隔符,默认为空
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5JtcAcbHOvm0l5zkgTSXuU5Ubk3WNxjg4iaNmu68ENwrCrCrD1DcgsfA/640)
RSTART
match函数匹配的第一次出现位置
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5QmYMqQnxSvoxuLxsTtsiaibMcFYqezOz7w5nJIx4JJYg3q4IaMBGv6uw/640)
$n
当前行中的第n个字段
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5mjABiaqyvE02nykDK4HUCfcKXeRoOjblNibROhYxyibHlkZfoe0cw9wiaA/640)
GNU AWK的变量
ARGIND
当前被处理的ARGV的索引
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5cia7KF9nDaeABGOt2RuNLgT0LPmG5eyOjoyUv9YTMqrrZ5ic7cREvNdw/640)
BINMODE
在非POSIX系统上指定对所有的文件I/O采用二进制模式。
ERRORNO
一个代表了getline跳转失败或者是close调用失败的错误的字符串。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5QW5Q7jcbcAUmHuo2MbLeUq2pq64iavBVxKSyhqsxdpdKQMRjbmjrJLA/640)
FIELDWIDTHS
设置了空格分隔的字段宽度变量列表的话,GAWK会将输入解析为固定宽度的字段,而不是使用FS进行分隔。
IGNORECASE
设置了这个变量的话,AWK会忽略大小写。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5KWbMX9VtQ1LQ2A7e3FX11TeYlGialGUD9gKEpJ4QnToE01sxDicyFJbA/640)
LINT
提供了对–lint选项的动态控制。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5Z5jj3jWicIiaf4k11TtFMuAkcicJV3yDnPKNExRYVLmIIml7lCDvUcnsQ/640)
操作符
与其它编程语言一样,AWK也提供了大量的操作符。
算数操作符
算数操作符不多说,直接看例子,无非就是+-*/%
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5HDlYXAfl1hSiaiaYn7G6adL7YRjBkuCUqZFWsAvmJHGT73wEjyK7NtCA/640)
增减运算符
自增自减与C语言一致。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5sOsPXiczOiaeBBCgUSuafecSfgEO5nS7TXRrXjVenYdMGiaicw6Gw47iaDg/640)
赋值操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5Rab0eiaVk8pCH2nPxHcNWiaicmgQOIaSj2sbhPib7GIFBB1su5Z1oIPL7g/640)
关系操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5ok2vkbw0ZbArn2YpNXyUq7PBZbadKgRa0rzdl6qHsPQQa3UwtVRctg/640)
逻辑操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5K2MBp2GmEI0IRicMrh3bWcCkN2VcUWoBHic6yUGzjico9783hknJCVfJQ/640)
三元操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5RLSDvzC5BzZU5cTIHlUibPHDxfDwH7P64Kt7a7FXHpqiawWtFK4IJjsQ/640)
一元操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5oVufVaS5P9hicZHPuA244eSrj1ic82nEnhhbg58I4SznMDJxL3EBpIzg/640)
指数操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5LIpnHMU6VQ9ahY0Vhicl1suRSAd8r9ZnFpF8YYkBtkibpbD2sTAHAicqA/640)
字符串连接操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5y5SWiaVkF2ej2auicNkfc1qJj3yIPoXnxB6nM4HCEnScFNXyiaeT0Xsag/640)
数组成员操作符
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5AF68ob9ZaA4NjVMYMYAzLvmFoSk1tibYD4iaJUwWCjbsc1yt6A9IjFcw/640)
正则表达式操作符
正则表达式操作符使用 ~ 和 !~ 分别代表匹配和不匹配。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5kdpibyRt2tvG3NOBSicibn9FOicxibUw8fgwl8EEeXTA4xvqcZHJ0iaPcrBA/640)
更多关于正则表达式请看后面的正则表达式部分
正则表达式
AWK在处理正则表达式方面是非常强大的,使用简单的正则表达式可以处理非常复杂的问题。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5zPFaukDyAibb7nYdQ2PIhsSWU1d8ibETsI0ywKcnekbr1HCqqrlHjVmQ/640)
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5ticqGkoVk5pIgqWBEDeQ10Zmic2icaLI3I6mHiaspUJtoGOebqgeIyRwKw/640)
数组
AWK支持关联数组,也就是说,不仅可以使用数字索引的数组,还可以使用字符串作为索引,而且数字索引也不要求是连续的。数组不需要声明可以直接使用,语法如下:
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5icRek6BJ8cXwKXibeibmzoKlBgiaAtK28CokQzueaiaBZ1H2n6UknxXVeog/640)
在AWK中,只支持一维数组,但是可以通过一维数组模拟多维,例如我们有一个3×3的三维数组
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5BuzdPicRRUiaPBQC3Ay0OxaT0aflGJQXVnyPovmgZ7n0XylE6Y8LS9Jg/640)
流程控制
流程控制语句与大多数语言一样,基本格式如下
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic54ibXly2CK02YmW4EhP4saacUqjqD2licpnSc6j88ESzEroGoHmSa86cQ/640)
循环
循环操作与其他C系语言一样,主要包括 for
,while
,do...while
,break
,continue
语句,当然,还有一个 exit
语句用于退出脚本执行。
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5y1kpORtGHdPApFc3WMq8zYFcb94IKibjuALXNZ8vj7qym662TsUdQAA/640)
exit
用于退出脚本,参数为退出的状态码,可以通过shell中的$?
获取
函数
内建函数
AWK提供了很多方便的内建函数供编程人员使用。由于函数比较多,个人觉得单纯看每个函数的使用也没有什么实际意义,比较容易遗忘,因此,这里只简单的列出常用的一些函数,只需要对其有个印象即可,使用的时候再去 查手册 效果会更好一些吧。
数学函数
atan2(y, x)
cos(expr)
exp(expr)
int(expr)
log(expr)
rand
sin(expr)
sqrt(expr)
srand([expr])
字符串函数
asort(arr [, d [, how] ])
asorti(arr [, d [, how] ])
gsub(regex, sub, string)
index(str, sub)
length(str)
match(str, regex)
split(str, arr, regex)
sprintf(format, expr-list)
strtonum(str)
sub(regex, sub, string)
substr(str, start, l)
tolower(str)
toupper(str)
时间函数
字节操作函数
and
compl
lshift
rshift
or
xor
其它
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5ibWvZc0OCBtVcBrKicibvEnvib92Nq9XDQRlHTpaibxun0PSb4iagibeSNq3w/640)
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5aDB6RcAoM9SBvSpWbxX8A8VbicvBbHCvPHuwR2jDxn6EKltzmUpjvcQ/640)
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5RNAF2lkBVlbfwpiccOxia07kQoXRtCbbLxhV82MppD5IbPNR3VcKkiaWg/640)
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic5to8SScDvz4wYh2pJM1jKqgHaIMywZO42k5EJE8cQ4VUSP3vv36zc0g/640)
![](http://mmbiz.qpic.cn/mmbiz_png/9aPYe0E1fb1aHUDmDiaM2OMGtsyMZo7ic52BQXOHxKSdVnXcpknkNZJd5xrvU02AOuZlL1awwkzv196aaGZCqibvA/640)