gawk的一些正则用法

### gawk的一些正则用法 #### 知识点概览 本文将详细介绍shell脚本语言中的`gawk`工具在处理正则表达式时的一些实用技巧与应用场景。`gawk`是`awk`的一个扩展版本，它在标准`awk`的基础上增加了更多的功能，使其在文本处理方面更为强大。下面我们将逐一解析给定文件中提到的例子，帮助读者更好地理解和应用这些技巧。 #### 1. 使用gawk匹配字符串开头为`no`或`so`的行 ```bash gawk -F'`' '$1~/^(no|so)/' test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `$1~/^(no|so)/`：使用正则表达式匹配第一列数据，判断其是否以`no`或`so`开头。 - **应用场景**： - 当需要筛选出以特定字符串开头的数据时，可以使用此方法。 #### 2. 匹配字符串开头为`n`或`s`的行，并打印第一列 ```bash gawk -F'`' '$1~/^[ns]/' {print $1} test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `$1~/^[ns]/`：使用正则表达式匹配第一列数据，判断其是否以`n`或`s`开头。 - `{print $1}`：如果条件成立，则打印该行的第一列。 - **应用场景**： - 在日志分析中，经常需要根据字符串开头进行过滤。 #### 3. 打印以两个数字结尾的行 ```bash gawk -F'`' '$1~/[0-9][0-9]$/' ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `$1~/[0-9][0-9]$/`：使用正则表达式匹配第一列数据，判断其是否以两个数字结尾。 - **应用场景**： - 对于需要识别特定数字格式的数据筛选非常有用。 #### 4. 第一列为1或第二列小于5时打印行 ```bash gawk -F'`' '$1==1 || $2<5' test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `$1==1 || $2<5`：使用逻辑运算符判断第一列是否等于1或者第二列是否小于5。 - **应用场景**： - 当需要根据数值大小进行过滤时，此方法非常有效。 #### 5. 排除第一列为10的行 ```bash gawk -F'`' '$1!=10' test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `$1!=10`：判断第一列是否不等于10。 - **应用场景**： - 用于排除某些特定数值的记录。 #### 6. 如果一行包含`t`，则第一列增加10 ```bash gawk -F'`' '/t/{print $1+10}' test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `/t/`：使用正则表达式匹配行内是否有`t`字符。 - `print $1+10`：如果存在`t`，则将第一列数据加10后打印。 - **应用场景**： - 对于需要根据文本内容执行数值操作的情况非常有用。 #### 7. 如果第三列大于10，打印“ok:”和第三列；否则打印“error:”和第三列 ```bash gawk -F'`' '{print ($3>10?"ok:"$3:"error:"$3)}' test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `($3>10?"ok:"$3:"error:"$3)`：使用三元运算符判断第三列是否大于10，并据此输出不同的结果。 - **应用场景**： - 用于根据数值大小输出不同信息。 #### 8. 将第一列为`no`的替换为`test` ```bash gawk -F'`' '$1=="no"{$1="test";print}' test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `$1=="no"{$1="test";print}`：判断第一列是否为`no`，如果是，则将其替换为`test`并打印整行。 - **应用场景**： - 字段值的替换在数据清洗过程中非常常见。 #### 9. 将第四列设置为第一列加上100，然后打印所有列 ```bash gawk -F'`' '{$4=100+$1;print}' test ``` - **解释**： - `-F'`'`：指定字段分隔符为`'`。 - `{$4=100+$1;print}`：将第四列设为第一列加上100，然后打印所有列。 - **应用场景**： - 新列的创建或数值计算在数据分析中很常见。 #### 10. 设置输入字段分隔符、输出字段分隔符和输出记录分隔符 ```bash gawk 'BEGIN{FS="`";OFS="\t";ORS="\n\n"}{print$1,$2,$3}' test ``` - **解释**： - `BEGIN{FS="`";OFS="\t";ORS="\n\n"}`：设置输入字段分隔符为`'`，输出字段分隔符为`\t`（制表符），输出记录分隔符为`\n\n`（两个换行符）。 - `{print$1,$2,$3}`：打印每一行的前三个字段。 - **应用场景**： - 当处理具有特殊格式的文件时，需要自定义分隔符来确保正确读取和输出数据。 #### 11. 统计文件中的记录数量 ```bash awk 'END{print "The number of records is " NR}' test ``` - **解释**： - `END{print "The number of records is " NR}`：在处理完所有行后，打印出“记录的数量是”加上变量`NR`的值。 - **应用场景**： - 统计文件中的记录数在数据分析和数据预处理阶段非常有用。 通过上述示例可以看出，`gawk`在处理文本文件时提供了强大的功能，能够满足各种复杂的文本处理需求。掌握这些技巧将极大地提高处理数据的能力，特别是在大规模数据处理和自动化任务中。