一、grep：文本的搜索、过滤

选项和含义

-i：忽略大小写
-c：只输出匹配行的数量
-n：显示行号
-r：递归搜索
-E：支持拓展正则表达式
-w：匹配整个单词
-l：只列出匹配的文件名
-F：不支持正则，按照字符串字面意思进行匹配
grep默认只支持基础正则表达式（* ^ [] . $ [] [^]）

🌙1、查找文件下包含author关键字的所在行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ grep -i 'author' demo_cpuinfo.sh 
#author: kobe

🌙2、查找某个目录下包含author关键字的内容

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ grep -i -r 'author' ../
../03shell/！:#author: kobe
../03shell/demo_cpuinfo.sh:#author: kobe
../02shell/demo_case.sh:#author: kobe
../02shell/check_ip.sh:# author:kobe
../02shell/demo_for1.sh:#author: kobe
../02shell/demo_for2.sh:#author: kobe
../02shell/define_function.sh:#author: zhilong
../02shell/demo_if.sh:#author: kobe
../02shell/！:#author: kobe
../02shell/demo_for.sh:#author: kobe
../02shell/demo_while.sh:#author: kobe
../02shell/read.sh:# author:kobe
../02shell/check_ip1.sh:# author:kobe
../02shell/define_script.sh:#author: zhilong

🌙3、查找某个目录下包含author关键字的路径

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ grep -i -r -l 'author' ../
../03shell/！
../03shell/demo_cpuinfo.sh
../02shell/demo_case.sh
../02shell/check_ip.sh
../02shell/demo_for1.sh
../02shell/demo_for2.sh
../02shell/define_function.sh
../02shell/demo_if.sh
../02shell/！
../02shell/demo_for.sh
../02shell/demo_while.sh
../02shell/read.sh
../02shell/check_ip1.sh
../02shell/define_script.sh

🌙4、查找以root开头的所有行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ grep -i '^root' passwd_bk 
root:x:0:0:root:/root:/bin/bash

🌙5、查找以false结尾的所有行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ grep -i 'false$' passwd_bk 
tss:x:106:111:TPM software stack,,,:/var/lib/tpm:/bin/false
speech-dispatcher:x:114:29:Speech Dispatcher,,,:/run/speech-dispatcher:/bin/false
hplip:x:119:7:HPLIP system user,,,:/run/hplip:/bin/false
whoopsie:x:120:125::/nonexistent:/bin/false
gnome-initial-setup:x:124:65534::/run/gnome-initial-setup/:/bin/false
gdm:x:125:130:Gnome Display Manager:/var/lib/gdm3:/bin/false
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false

🌙6、查找包含“oo”的内容

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ grep -i 'oo' passwd_bk 
root:x:0:0:root:/root:/bin/bash
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
kernoops:x:116:65534:Kernel Oops Tracking Daemon,,,:/:/usr/sbin/nologin
nm-openvpn:x:118:124:NetworkManager OpenVPN,,,:/var/lib/openvpn/chroot:/usr/sbin/nologin
whoopsie:x:120:125::/nonexistent:/bin/false

🌙7、统计包含“oo”关键字的行数

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ grep -i -c 'oo' passwd_bk 

🌙8、过滤目标行以及下面的2行

-A2：表示过滤目标行及其下面的2行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ grep --help | grep -A2 '\-E'
  -E, --extended-regexp     <模式> 是扩展正则表达式
  -F, --fixed-strings       <模式> 是字符串
  -G, --basic-regexp        <模式> 是基本正则表达式

🌙9、过滤目标行以及上面的2行

-B2：表示过滤目标行及其上面的2行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ grep --help | grep -B2 '\-E'

模式选择与解释：
  -E, --extended-regexp     <模式> 是扩展正则表达式

🌙10、过滤目标行以及上面下面的各2行

-C2：表示过滤目标行及其上面和下面的2行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ grep --help | grep -C2 '\-E'

模式选择与解释：
  -E, --extended-regexp     <模式> 是扩展正则表达式
  -F, --fixed-strings       <模式> 是字符串
  -G, --basic-regexp        <模式> 是基本正则表达式

二、sed：文本的增删改查

选项和含义

-n：只打印模式匹配的行
-f：加载存放动作的文件
-r：支持拓展正则
-i：直接修改文件

🌙1、将第一行打印出来

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed -n '1 p' passwd_bk 
root:x:0:0:root:/root:/bin/bash

🌙2、将第5行到第8行打印出来

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed -n '5,8 p' passwd_bk 
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
666666666这三新增的内容

🌙3、将包含root的内容打印出来

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed -n '/root/ p' passwd_bk 
root:x:0:0:root:/root:/bin/bash
nm-openvpn:x:118:124:NetworkManager OpenVPN,,,:/var/lib/openvpn/chroot:/usr/sbin/nologin

🌙4、将以m开头的内容打印出来

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed -n '/^m/ p' passwd_bk 
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
messagebus:x:103:106::/nonexistent:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false

🌙5、将以man开头到list开头中间的内容打印出来

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed -n '/^man/,/^list/ p' passwd_bk 
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
666666666这三新增的内容
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
proxy:x:13:13:proxy:/bin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
list:x:38:38:Mailing List Manager:/var/list:/usr/sbin/nologin

🌙6、在man开头的下面新增内容

a：新增内容

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed '/^man/ a 这是新增的内容' passwd_bk 

🌙7、在第3到5行前面新增内容

i：在前面新增内容

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '3,5 i 这是新增的内容' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
这是新增的内容
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
这是新增的内容
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
这是新增的内容
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙8、将文件中内容读取之后插入到文本中包含bash关键字的后面

r：追加的文件来自哪里

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/bash/ r test.txt' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
66666666666
88888888888

🌙9、将文本中以uuidd开头的文本写入到test.txt文本中

w：将匹配内容写到指定文件

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/^uuidd/ w test.txt' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ cat test.txt 
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙10、将文本中包含“四”关键字的行删除

d：将指定内容删除

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/四/ d' test.txt 
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
这是第二行

这是第三行



这是第五行
这是第六行

🌙11、将文本中包含五的行和空行删除

-r：支持拓展正则

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed -r '/五|^$/ d' test.txt 
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
这是第二行
这是第三行
这是第四行
这是第六行

🌙12、将第2和3行删除

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '2,3 d' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙13、删除第2到最后一行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '2,$ d' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin

🌙14、将小写zhilong改成大写ZHILONG(如果一行有多个zhilong，默认修改的是第一个zhilong)

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed s/zhilong/ZHILONG/ sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
ZHILONG:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙15、将第3到第9行，小写zhilong改成大写BASH(所有的ZHILONG)

g：全局修改
i：忽略大小写

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '1,5 s/zhilong/ZHILONG/gi' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
ZHILONG:x:1000:1000:ZHILONG,,,:/home/ZHILONG:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙16、将路径/usr/sbin/nologin改为、home/zhilong

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/^sssd/,/^redis/ s/\/usr\/sbin\/nologin/\/home\/zhilong/gi' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/home/zhilong
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/home/zhilong
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/home/zhilong

🌙17、整行替换，将某一行的内容替换为其他的内容

c：整行替换

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/^sssd/ c "替换后的内容"' sed.txt 
"替换后的内容"
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

三、awk：文本的数据处理并生成结构报告

awk ‘BEGIN{}’ pattern {commands} END{}’ file

BEGIN{}：处理数据之前执行，只执行一次
pattern：匹配模式
{commands}：处理的命令
END{}：处理数据之后执行，只执行一次

内置变量

$0：整行内容
$1-$n：当前行的第1-n个字段
NF：当前行的字段数
NR：当前行行号
FS：输入字段分隔符，默认为空格或者tab键
RS：输入行分隔符，默认为回车符
-F：以什么为分隔符

🌙1、打印文本中所有行的内容（空格）

$0：表示所有的内容

hilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $0}' awk.txt 
no	name	score	gender	age
001	kobe	100	男	24 we
   002    jimmy  99  男            30 er
 003   curry  98 女   34 we

🌙2、打印文本中第一列的内容（空格）

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $1}' awk.txt 
no
001
002
003

🌙3、打印出文本中最后一列的内容（空格）

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $NF}' awk.txt 
age
we
er
we

🌙4、打印出文本中倒数第二列的内容（空格）

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $(NF-1)}' awk.txt 
gender
24
30
34
awk: run time error: negative field index $-1
	FILENAME="awk.txt" FNR=5 NR=5

或者：

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk 'BEGIN{FS=":"} {print $1}' passwd_bk 
root
daemon
bin
sys
sync
games
man
666666666这三新增的内容

🌙5、将包含www关键字的所在行的第3列取出

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: '/www/ {print $3}' passwd_bk 
33

🌙6、将以list开头到syslog开头之间所有行的最后一列取出

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: '/^list/,/^syslog/ {print $NF}' passwd_bk 
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin

🌙7、打印第一行中的第一列

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: 'NR==1 {print $1}' passwd_bk 
root

🌙8、打印第1到第5行中的第一列

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: 'NR==1,NR==5 {print $1}' passwd_bk 
root
daemon
bin
sys
sync

🌙9、将第一列和最后一列打印出来（左对齐）
printf格式符

%s：字符串
%d：十进制数字
%f：浮点数

修饰符

+：右对齐
-：左对齐

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: '{printf "%-15s%-20s\n",$1,$NF}' passwd_bk 
root           /bin/bash           
daemon         /usr/sbin/nologin   
bin            /usr/sbin/nologin   
sys            /usr/sbin/nologin   
sync           /bin/sync           
games          /usr/sbin/nologin   
man            /usr/sbin/nologin  

🌙10、将第一列和最后一列打印出来（左对齐），并且加上标题

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: 'BEGIN{printf "%-15s%20s\n","username","password"} {printf "%-15s%20s\n",$1,$NF}' passwd_bk 
username                   password
root                      /bin/bash
daemon            /usr/sbin/nologin
bin               /usr/sbin/nologin
sys               /usr/sbin/nologin
sync                      /bin/sync
games             /usr/sbin/nologin
man               /usr/sbin/nologin

🌙11、将第三列的数字大于100，并且只打印第一列和最后一列

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk -F: 'BEGIN{printf "%-20s%-25s\n","USERNAME","ROOT"} $3>100 {printf "%-20s%-25s\n",$1,$NF; i++} END{printf "%-20s%-25d\n","TOTAL",i}' ../passwd_bk 
USERNAME            ROOT                     
root                /bin/bash                
daemon              /usr/sbin/nologin        
bin                 /usr/sbin/nologin        
sys                 /usr/sbin/nologin        
sync                /bin/sync                
games               /usr/sbin/nologin        
man                 /usr/sbin/nologin        
666666666这三新增的内容666666666这三新增的内容
lp                  /usr/sbin/nologin        
mail                /usr/sbin/nologin        
news                /usr/sbin/nologin        
uucp                /usr/sbin/nologin        
proxy               /usr/sbin/nologin        
www-data            /usr/sbin/nologin        
backup              /usr/sbin/nologin        
list                /usr/sbin/nologin        
irc                 /usr/sbin/nologin        
gnats               /usr/sbin/nologin        
systemd-network     /usr/sbin/nologin        
TOTAL               19