shell脚本---文本处理三剑客

于 2024-09-25 16:53:35 发布
阅读量522 收藏
点赞数 8
CC 4.0 BY-SA版权
文章标签： shell脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q911326/article/details/142252821

一、grep

grep----过滤、筛选
grep  "字符串"
grep  -v  "字符串"
grep  ^"字符串"   以....开头
grep   "字符串"$
grep  ^$  空行
grep  -i  不区分大小写
grep  -o  只显示匹配的部分

二、sed

  sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容发送往屏幕。然后读入下行，执行下一个循环。
   如果没有诸如“D”的特殊命令，那会在两个循环之间清空模式空间，但不能清除保留空间。这样不断重复，直到文件末尾。
文件内容并没有改变，除非你使用重定向存储输出或-i。
选项
-n  不打印模式空间
-e  执行脚本、表达式来处理
-f  执行动作从文件读取执行
-i  修改原文件
-r  使用扩展正则表达式

命令

s/regexp/replace/      替换字符串
p	打印当前模式空间
P（大写）	打印模式空间的第一行
d	删除模式空间，开始下一个循环
D	删除模式空间的第一行，开始下一个循环
=	打印当前行号
a  \text	当前行追加文本
i   \text	当前行上面插入文本
c  \text	所选行替换新文本
q	立即退出sed脚本
r	追加文本来自文件
h  H   		复制/追加模式空间到保持空间
g  G		复制/追加保持空间到模式空间
x		交换模式空间和保持空间内容
l		打印模式空间的行，并显示控制字符$
n  N		读取/追加下一行输入到模式空间
w  filename		写入到当前模式空间到文件
！		取反、否定
&		引用已匹配字符串

地址

first~step	    从first开始，每step步输出值
$		        匹配最后一行
/regexp/	    正则表达式匹配行
number	        只匹配指定行
addr1，addr2	开始匹配addr1行开始，直接addr2行结束
addr1，+N		从addr1行开始，向后的N行
addr1，~N		从addr1行开始，到N行结束

案例

[root@node1 ~]# cat /tmp/services 
nimgtw 		48003/udp 		# Nimbus Gateway
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
iqobject 		48619/udp 		# iqobject
匹配打印（p）
（1）打印匹配blp5开头的行
[root@node1 ~]# 
[root@node1 ~]# cat /tmp/services | sed -n '/^blp5/p'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator


（2）打印第一行
[root@node1 ~]# cat /tmp/services | sed -n '1p'
nimgtw 		48003/udp 	# Nimbus Gateway

（3）打印第一行至第三行
[root@node1 ~]# cat /tmp/services | sed -n '1,3p'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services

（4）打印奇数行
[root@node1 ~]# seq 10 | sed -n '1~2p'
1
3
5
7
9

（5）打印匹配行及后一行
[root@node1 ~]# cat /tmp/services | sed -n '/blp5/,+1p'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator

（6）打印最后一行
[root@node1 ~]# cat /tmp/services | sed -n '$p'
iqobject 	48619/udp 	# iqobject

（7）不打印最后一行
[root@node1 ~]# cat /tmp/services | sed -n '$!p'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject

（8）匹配范围
[root@node1 ~]# cat /tmp/services | sed -n '/^blp5/,/^com/p'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw

匹配blp5所在行到最后一行
[root@node1 ~]# cat /tmp/services | sed -n '/blp5/,$p'
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（9）引用系统变量，用引号
[root@node1 ~]# cat /tmp/services |sed -n ''$a',3p'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services

或者
[root@node1 ~]# cat /tmp/services |sed -n "$a,3p"

删除匹配

[root@node1 ~]# cat /tmp/services | sed '/blp5/d'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

[root@node1 ~]# cat /tmp/services | sed '1d'
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

[root@node1 ~]# cat /tmp/services | sed '1~2d'             删除奇数行
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/udp 	# iqobject

[root@node1 ~]# cat /tmp/services | sed '1,3d'
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

打印时把匹配的打印出来，删除时把匹配的删除，删除只是不用-n选项
练习：去除空格/etc/httpd/conf/httpd.conf文件的空行或开头#号的行
sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf

替换（s///）

（1）替换blp5字符串为test
[root@node1 ~]# cat /tmp/services | sed 's/blp5/test/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
test 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

全局替换加g
[root@node1 ~]# cat /tmp/services | sed 's/blp5/test/g'

（2）替换开头是blp5的字符串并打印
[root@node1 ~]# cat /tmp/services | sed -n 's/^blp5/test/p'
test 		48129/tcp 	# Bloomberg locator
test 		48129/udp 	# Bloomberg locator

（3）使用&命令引用匹配内容并替换
[root@node1 ~]# cat /tmp/services | sed  's/48049/&.123/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049.123/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

ip加引号
[root@node1 ~]# echo '10.10.10.1 10.10.10.2 10.10.10.3' | sed -r 's/[^ ]+/"&"/g'
"10.10.10.1" "10.10.10.2" "10.10.10.3"

（4）对1-5行的blp5进行替换
[root@node1 ~]# cat /tmp/services | sed  '1,5s/blp5/test/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（5）对匹配行进行替换，先匹配出来48129/tcp所在行，然后再将改行的blp5字符串替换为test
[root@node1 ~]# cat /tmp/services | sed '/48129\/tcp/s/blp5/test/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（6）二次匹配替换
[root@node1 ~]# cat /tmp/services | sed 's/blp5/test/;s/3g/4g/'
nimgtw 		48003/udp 	# Nimbus Gateway
4gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
test 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（7）分组使用
[root@node1 ~]# cat /tmp/services | sed -r 's/(.*)(480.*)(#.*)/\1\2test \3/'
nimgtw 		48003/udp 	test # Nimbus Gateway
3gpp-cbsp 		48049/tcp 	test # 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（8）将协议与端口号位置互换
[root@node1 ~]# cat /tmp/services | sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'
nimgtw 		udp/48003 	# Nimbus Gateway
3gpp-cbsp 		tcp/48049 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		tcp/48128 	# Image Systems Network Services
isnetserv 		udp/48128 	# Image Systems Network Services
blp5 			tcp/48129 	# Bloomberg locator
blp5 			udp/48129 	# Bloomberg locator
com-bardac-dw 	tcp/48556 	# com-bardac-dw
com-bardac-dw 	udp/48556 	# com-bardac-dw
iqobject 		tcp/48619 	# iqobject
iqobject 		udp/48619 	# iqobject

（9）位置调换
[root@node1 ~]# echo "abc cde xyz" | sed -r  's/(.*)x/\1X/'
abc cde Xyz
[root@node1 ~]# echo "abc cde xxyxz" | sed -r  's/(.*)x/\1X/'
abc cde xxyXz
[root@node1 ~]# echo "abc cde xxyxz" | sed -r  's/(.*)y/\1Y/'
abc cde xxYxz

将cde和456互换位置
[root@node1 ~]# echo "abc:cde;123:456" | sed -r 's/([^:]*)(;.*:)([^:]+$)/\3\2\1/'
abc:456;123:cde

（10）注释匹配行后的多少行
[root@node1 ~]# seq 10 |sed '/5/,+3s/^/#/'
1
2
3
4
#5
#6
#7
#8
9
10

（11）注释指定多行
[root@node1 ~]# seq 5 |sed -r '/^3|^4/s/^/#/'
1
2
#3
#4
5
[root@node1 ~]# seq 5 |sed -r 's/^3|^4/#&/'
1
2
#3
#4
5

案例4：多重编辑
删除1-4行，并将剩余行的blp5替换为test
[root@node1 ~]# cat /tmp/services | sed -e '1,4d' -e 's/blp5/test/'
test 		48129/tcp 	# Bloomberg locator
test 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

或
[root@node1 ~]# cat /tmp/services |sed '1,4d;s/blp5/test/'
test 		48129/tcp 	# Bloomberg locator
test 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

添加新内容（a、i、c）

（1）在blp5上一行添加test
[root@node1 ~]# cat /tmp/services |sed '/blp5/i \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
test
blp5 		48129/tcp 	# Bloomberg locator
test
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject
[root@node1 ~]#

（2）在blp5下一行添加test
[root@node1 ~]# cat /tmp/services |sed '/blp5/a \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
test
blp5 		48129/udp 	# Bloomberg locator
test
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

（3）将blp5所在行替换为新行test
[root@node1 ~]# cat /tmp/services |sed '/blp5/c \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
test
test
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

（4）在指定行的下一行添加一行
[root@node1 ~]# cat /tmp/services |sed '2a \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
test
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

（5）在指定行前面和后面添加一行
[root@node1 ~]# seq 5 |sed '3s/.*/txt\n&/'
1
2
txt
3
4
5
[root@node1 ~]# seq 5 |sed '3s/.*/&\ntest/'
1
2
3
test
4
5

案例6：读取文件并追加到匹配行后（r）
[root@node1 ~]# cat a.txt
123
456


[root@node1 ~]# cat /tmp/services | sed '/blp5/r a.txt'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
123
456
blp5 		48129/udp 	# Bloomberg locator
123
456
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

将匹配行写到文件（w）

[root@node1 ~]# cat /tmp/services | sed '/blp5/w b.txt'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

[root@node1 ~]# cat b.txt
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator

读取下一行（n和N）

n 读取下一行到模式空间。
N 追加下一行内容到模式空间，并以换行符\n 分隔。

（1）打印匹配的下一行
[root@node1 ~]# seq 5 |sed -n '/3/{n;p}'
4

（2）打印偶数
[root@node1 ~]#  seq 6 |sed -n 'n;p'
2
4
6

sed 先读取第一行 1，执行 n 命令，获取下一行 2，此时模式空间是 2，执行 p 命令，打印模式空
间。 现在模式空间是 2，sed 再读取 3，执行 n 命令，获取下一行 4，此时模式空间为 4，执行 p 命
令，以此类推。

（3）打印奇数
[root@node1 ~]#  seq 6 |sed    'n;d'
1
3
5
读取1，执行n，得出2，执行d，删除2，得空，以此类推，读取3，执行n，得出4，
执行d，删除4，得空，但是读取5时，得出6，执行d，删除6。
因无-n参数，故输出1\n3\n5

[root@node1 ~]#  seq 6 |sed -n   'p:n'
1
3
5
（4）每三行执行一次p命令
[root@node1 ~]#  seq 6 |sed   'n;n;p'
1
2
3
3
4
5
6
6
sed 先读取第一行 1，并打印模式空间 1，执行 n 命令，获取下一行 2，并打印模式空间 2，再执行 n
命令，获取下一行 3，执行 p 命令，打印模式空间 3。sed 读取下一行 3，并打印模式空间 3,以此类
推。


（5）每三行替换一次
方法1：只是把p命令改成了替换命令
[root@node1 ~]# seq 6 |sed 'n;n;s/^/=/;s/$/=/'
1
2
=3=
4
5
=6=

方法2：这次用到了地址匹配，来实现上面的效果
[root@node1 ~]# seq 6 |sed '3~3{s/^/=/;s/$/=/}'
1
2
=3=
4
5
=6=
当执行多个 sed 命令时，有时相互会产生影响，我们可以用大括号{}把他们括起来

（6）再看下N命令的功能
[root@node1 ~]# seq 6 |sed 'N;q'
1
2
将两行合并一行：
[root@node1 ~]# seq 6 |sed 'N;s/\n//'
12
34
56
第一个命令：sed 读取第一行 1，N 命令读取下一行 2，并以\n2 追加，此时模式空间是 1\n2，再执
行 q 退出。
为了进一步说明 N 的功能，看第二个命令：执行 N 命令后，此时模式空间是 1\n2，再执行把\n 替换
为空，此时模式空间是 12，并打印。

[root@node1 ~]# seq 5 |sed -n 'N;p'
1
2
3
4
[root@node1 ~]# seq 6 |sed -n 'N;p'
1
2
3
4
5
6
为什么第一个不打印 5 呢？
因为 N 命令是读取下一行追加到 sed 读取的当前行，当 N 读取下一行没有内容时，则退出，也不会
执行 p 命令打印当前行。
当行数为偶数时，N 始终就能读到下一行，所以也会执行 p 命令。


[root@node1 ~]# seq 5 |sed -n '$!N;p'
1
2
3
4
5
加一个满足条件，当 sed 执行到最后一行时，用感叹号不去执行 N 命令，随后执行 p 命令

案例9：打印和删除模式空间第一行（P（大写）和D）
P（大写） 打印模式空间的第一行。
D 删除模式空间的第一行。

（1）打印奇数
[root@node1 ~]# seq 6 |sed -n 'N;P'
1
3
5
[root@node1 ~]# seq 6 |sed 'N;D'
6
读取第一行 1，执行 N 命令读取下一行并追加到模式空间，此时模式空间是 1\n2，执行 D 命令删除
模式空间第一行 1，剩余 2。
读取1，执行N，得出1\n2，执行D，得出2，执行N，得出2\n3，执行D，得出3，依此类推，得出6，
执行N，条件失败退出，因无-n参数，故输出6


案例10：保持空间操作（h与H，g与G和x）
h 复制模式空间内容到保持空间（覆盖）。
H 复制模式空间内容追加到保持空间。
g 复制保持空间内容到模式空间（覆盖）。
G 复制保持空间内容追加到模式空间。
x 模式空间与保持空间内容互换

（1）将匹配的内容覆盖到另一个匹配
[root@node1 ~]#seq 6 |sed -e '/3/{h;d}' -e '/5/g'
1
2
4
3
6
h 命令把匹配的 3 复制到保持空间，d 命令删除模式空间的 3。后面命令再对模式空间匹配 5，并用
g 命令把保持空间 3 覆盖模式空间 5。


（2）将匹配的内容放到最后
[root@node1 ~]# seq 6 |sed -e '/3/{h;d}' -e '$G'
1
2
4
5
6
3

（3）交换模式空间和保持空间
[root@node1 ~]#seq 6 |sed -e '/3/{h;d}' -e '/5/x' -e '$G'
1
2
4
3
6
5
在模式空间匹配 5 并将保持空间的 3 与 5 交换，5 就变成了 3,。最后把保持空间的 5
追加到模式空间的。

三、awk

awk 是一个处理文本的编程语言工具，能用简短的程序处理标准输入或文件、数据排序、计算以及
生成报表等等。
awk 处理的工作方式与数据库类似，支持对记录和字段处理，这也是 grep 和 sed 不能实现的。
在 awk 中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的
某一部分作为记录中的一个字段。用 1,2,3...数字的方式顺序的表示行（记录）中的不同字段。用
$后跟数字，引用对应的字段，以逗号分隔，0 表示整个行。

1、选项：

-f	从文件中读取awk程序源文件
-F	指定fs为输入字段分隔符
-v	变量赋值
--posix	兼容posix正则表达式
--dump-variables=[file]  	把awk命令时的全局变量写入文件，默认文件是awkvars.out
--profile=[file]    格式化awk语句到文件，默认是awkprof.out

2、模式

常用模式有：
BEGIN{ }  	给程序赋予初始状态，先执行的工作
END{ }	程序结束之后执行的一些扫尾工作
/regular  expression/	为每个输入记录匹配正则表达式
pattern && pattern 	逻辑and，满足两个模式
pattern || pattern		逻辑or，满足其中一个模式
！pattern		逻辑not，不满足模式
pattern1，pattern2	范围模式，匹配所有模式1的记录，直到匹配到模式2

示例

1、从文件读取awk程序处理文件

[root@node1 ~]# cat test.awk 
{print $2}
[root@node1 ~]# cat /tmp/services | awk -f test.awk 
48003/udp
48049/tcp
48128/tcp
48128/udp
48129/tcp
48129/udp
48556/tcp
48556/udp
48619/tcp
48619/udp

2、指定分隔符，打印指定字段

[root@node1 ~]# awk -F ':' '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
.......


还可以指定多个分隔符，作为同一个分隔符处理：
[root@node1 ~]# tail -n3 /tmp/services |awk -F'[/#]' '{print $3}'
 com-bardac-dw
 iqobject
 iqobject
[root@node1 ~]# tail -n3 /tmp/services |awk -F'[/#]' '{print $1}'
com-bardac-dw 	48556
iqobject 	48619
iqobject 	48619
[root@node1 ~]# tail -n3 /tmp/services |awk -F'[/#]' '{print $2}'
udp 	
tcp 	
udp 	
[root@node1 ~]# tail -n3 /tmp/services |awk -F'[ /]+' '{print $2}'
	48556
	48619
	48619
[]元字符的意思是符号其中任意一个字符，也就是说每遇到一个/或#时就分隔一个字段，当用多个
分隔符时，就能更方面处理字段了

3、变量赋值

[root@node1 ~]# awk -v a=123 'BEGIN{print a}'
123
系统变量作为awk变量的值
[root@node1 ~]# a=123
[root@node1 ~]# awk -v a=$a 'BEGIN{print a}'
123
或使用单引号
[root@node1 ~]# awk 'BEGIN{print '$a'}'
123
[root@node1 ~]#

4、输出 awk 全局变量到文件

[root@node1 ~]# seq 5 |awk --dump-variables '{print $0}'
1
2
3
4
5
[root@node1 ~]# cat awkvars.out 
ARGC: 1
ARGIND: 0
ARGV: array, 1 elements
BINMODE: 0
CONVFMT: "%.6g"
ENVIRON: array, 29 elements
ERRNO: ""
FIELDWIDTHS: ""
FILENAME: "-"
FNR: 5
FPAT: "[^[:space:]]+"
FS: " "
FUNCTAB: array, 41 elements
IGNORECASE: 0
LINT: 0
NF: 1
NR: 5
OFMT: "%.6g"
OFS: " "
ORS: "\n"
PREC: 53
PROCINFO: array, 20 elements
RLENGTH: 0
ROUNDMODE: "N"
RS: "\n"
RSTART: 0
RT: "\n"
SUBSEP: "\034"
SYMTAB: array, 28 elements
TEXTDOMAIN: "messages"
[root@node1 ~]#

5、BEGIIN和END

BEGIN 模式是在处理文件之前执行该操作，常用于修改内置变量、变量赋值和打印输出的页眉或标题。
例如：打印页眉
[root@node1 ~]# tail /tmp/services |awk 'BEGIN{print "Service\t\tPort\t\t\tDescription\n==="}{print $0}'
Service		Port			Description
===
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject



END 模式是在程序处理完才会执行。
例如：打印页尾
[root@node1 ~]# tail /tmp/services |awk '{print $0}END{print "===\nEND......"}'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject
===
END......

6、格式化输出awk命令到文件

[root@node1 ~]#  tail /tmp/services |awk --profile 'BEGIN{print"Service\t\tPort\t\t\tDescription\n==="}{print $0}END{print "===\nEND......"}'
Service		Port			Description
===
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject
===
END......

[root@node1 ~]# cat awkprof.out 
	# gawk profile, created Thu Sep 15 07:45:12 2022

	# BEGIN rule(s)

	BEGIN {
       	print "Service\t\tPort\t\t\tDescription\n==="
	}

	# Rule(s)

         {
      	print $0
	}

	# END rule(s)

	END {
       	print "===\nEND......"
	}

7、/re/正则匹配

匹配包含 tcp 的行：
[root@node1 ~]# cat /tmp/services |awk '/tcp/{print $0}'
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject

8、逻辑 and、or 和 not

匹配记录中包含 blp5 和 tcp 的行：
[root@node1 ~]# cat /tmp/services |awk '/blp5/ && /tcp/{print $0}'
blp5 		48129/tcp 	# Bloomberg locator

匹配记录中包含 blp5 或 tcp 的行：
[root@node1 ~]# cat /tmp/services |awk '/blp5/ || /tcp/{print $0}'
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject

不匹配开头是#和空行：
[root@node1 ~]# awk '! /^#/ && ! /^$/{print $0}' /etc/httpd/conf/httpd.conf
或者
[root@node1 ~]# awk '! /^#|^$/' /etc/httpd/conf/httpd.conf

9、匹配范围

[root@node1 ~]# cat /tmp/services |awk '/^blp5/,/^com/'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
时迁10
关注
Shell文本处理(一)
Java/Python大数据随笔
08-25 1303
文本处理是Shell中的一个重要领域，它允许你从文本数据中提取有用的信息，执行搜索、替换、格式化和过滤等操作。（Global Regular Expression Print）指令是一个强大的文本搜索工具，它可以使用正则表达式来搜索匹配的行。指令主要用于在指定目录下递归查找文件和目录，它可以使用不同的选项来过滤和限制查找结果。（Stream EDitor）指令是一个流编辑器，它可以对输入的文本进行复杂的处理。是一种强大的文本处理语言，它可以分析和处理文本中的字段和记录。
Shell脚本文本三剑客Sed
稻香的博客
05-30 842
目录 一、Sed 1. Sed概述 2. Sed工作流程 3. 基本用法 4. 常用选项 5. Sed命令的常用参数 二. Sed命令使用 1. 输出指定行 1.1 使用Sed命令输出指定行 1.2 结合正则表达式输出指定行 2. 插入符合条件的行 3. 删除符合条件的行 4. 替换符合条件的文本 4.1 字符串替换 5.迁移符合条件的文本 6.使用脚本编辑文件 一、Sed 1. Sed概述 sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供..
shell 文本处理
最新发布
weixin_61428407的博客
09-03 565
shell正则表达式、grep、sed、awk
Shell编程之文本处理
u012948302的专栏
11-22 2221
在日常工作学习中，不免经常要对文本文件（例如日志文件）进行处理工作，包括但不限于分割、查找、替换、删除等操作，`Shell` 中有没有相应的命令供我们使用呢？那么本篇文章，我们就一起来学习下吧！
linux--shell 文本处理工具
ltsazx的博客
09-04 210
shell 文本处理工具 一、grep 命令 grep root passwd #过滤root关键字 grep ^root passwd ##以root开头 grep root$ passwd ##以root结尾 grep -i root passwd ##后略大小写 grep -E “<root” passwd ##root字符之前不能有字符 grep -E “root>” passwd ##root字符之后不能有字符 grep -数字 ##显示过滤行以及上面几行和下面几行
07_SHELL编程之文本处理工具sed
weixin_43718250的博客
03-12 281
二、强悍的sed介绍 1. sed用来做啥？ sed是Stream Editor（流编辑器）的缩写，简称流编辑器；用来处理文件的，尤其是在脚本中处理文件。（直接修改源文件，不需要交互） 2. sed如何处理文件？ sed是一行一行读取文件内容并按照要求进行处理，把处理后的结果输出到屏幕。 首先sed读取文件中的一行内容，把其保存在一个临时缓存区中（也称为模式空间） 然后根据需求处理临时缓冲...
第二十四章：shell脚本-正则、grep、sed、awk三剑客1
08-08
### 第二十四章：Shell 脚本 - 正则、grep、sed、awk 三剑客 #### 一、正则表达式及 grep **1. 概述** 正则表达式是一种强大的文本处理工具，它能够帮助用户方便地进行字符串的搜索、替换等操作。在 Linux 系统中...
shell脚本-正则、grep、sed、awk三剑客
12-16
在企业工作中，每天做的Linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等，而我们经常会有迫切的需要，从大量的字符串内容中查找符合工作需要的特定字符串。这就需要正则表达式...
shell - 09 - Shell文本处理三剑客 - sed -文件内容操作详解
java199909的博客
03-22 1201
sed -n ‘/root/,/test/p’ /etc/passwd 打印 /etc/passwd 中第8行开始，到含有 /sbin/nologin 的内容的行结束的内容 sed -n ‘8,//sbin/nologin/p’ /etc/passwd 打印 /etc/passwd 中第一个包含 /bin/bash 内容的行开始，到第5行结束的内容 sed -n ‘//bin/bash/,5p’ /etc/passwd []( )脚本练习 需求描述 处理一个类似MYSQL配置文件 my.cnf的文本，示例如
LINUX下的shell脚本-文本处理
chaos_oper的博客
12-29 659
一.grep命令 1.grep:全面搜索研究正则表达式并显示出来，强大的文本搜索工具，根据用户指定的“模式”对目标文本进行匹配检查，打印匹配到的行，由正则表达式或者字符及基本文本字符所编写的过滤条件 grep 匹配条件 处理文件 grep -i ##忽略字母大小写 -v ##条件取反 -c ##统计匹配行数 -q ##静默，无任何输出 -n ##显示匹配结果所在的行号 例： g...
Linux shell文本处理工具
weixin_30810239的博客
06-06 155
搞定Linux Shell文本处理工具，看完这篇集锦就够了 Linux Shell是一种基本功，由于怪异的语法加之较差的可读性，通常被Python等脚本代替。既然是基本功，那就需要掌握，毕竟学习Shell脚本的过程中，还是能了解到很多Linux系统的内容。 Linux脚本大师不是人人都可以达到的，但是用一些简单的Shell实现一些常见的基本功能还是很有必要的。 下面我介绍Linux下使用Sh...
shell-文本处理
lm236236的博客
12-25 261
1.grep,egrep egrep是grep的扩展 grep -i 忽略字母大小写 -v 条件取反 -c 统计匹配行数 -q 静默，无任何输出 -n 显示匹配结果所在的行号 -i: -v: [root@desktop8 脚本]# grep -v 'sbin' /etc/passwd root:x:0:0:root:/root:/bin/bash stu...
shell文本处理
just_easy的专栏
08-30 1913
最于文件的操作以前都是用高级编程语言来操作的。今天恰好需要将一个目录中的文件信息存储到sqlite3数据库中（我用linux中的工具和shell来作为自己毕业设计做原型开发）。下面记录一下这里用到的部分知识，以作备忘。(用ls命令来说明）。 1.关于shell中的管道和重定
shell脚本逐行处理文本文件
Raily_Qi的博客
06-20 4092
1.通过read命令完成 read命令接收标准输入，或其他文件描述符的输入，得到输入后，read命令将数据放入一个标准变量中。 利用read读取文件时，每次调用read命令都会读取文件中的"一行"文本。 当文件没有可读的行时，read命令将以非零状态退出。 cat data.dat | while read line do echo "File:${line}" done or while r...
shell中的文本处理
weixin_45436958的博客
08-19 324
1.grep grep 文本过滤命令 grep -E = egrep #扩展正则表达式 grep #正则表达式 grep 命令是一种强大的文本搜索工具 , 根据用户指定的“模式”对目标文本进行匹配检查 , 打印匹配到的行–由正则表达式或者字符及基本文本字符所编写的过滤条件。 grep 的格式 grep 匹配条件 处理文件 例如 grep root passwd grep ^root passwd...
shell-文本处理工具
qq_43604376的博客
03-05 726
shell 文本处理工具shell一、grep （Globally search a Regular Expression and Print）练习二、sed练习2三.awk练习3： 一、grep （Globally search a Regular Expression and Print） grep grep -E = egrep ##grep 格式## grep 匹配条件 处理文件 grep root passwd #过滤root关键字 grep -i root passwd ##后略大小写
用shell脚本配合awk文本处理工具进行文件处理
香菇猫的博客
09-26 624
由于项目是运行在linux环境下。需要统计文件中的记录金额总和等功能，相比于是提供了shell脚本处理文件的工具类
SHELL文本处理三剑客（sed、grep、awk）
MYS_Sunshine的博客
06-25 822
一、sed 1. 基本介绍 1）sed行编辑器 stream editor 用来操作纯 ASCII 码的文本 处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space)可以指定仅仅处理哪些行 sed 符合模式条件的处理 不符合条件的不予处理 处理完成之后把缓冲区的内容送往屏幕 接着处理下一行,这样不断重复,直到文件末尾 2）调用 sed ...
"第24章：shell脚本-正则、grep、sed、awk三剑客详解
第二十四章讲述了shell脚本中的正则表达式以及三个常用工具grep、sed和awk的使用。正则表达式是一种用于处理大量字符串的规则和方法。在企业的Linux运维工作中，经常需要从大量字符串内容中查找符合特定要求的字符串...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值