shell - 正则表达式和grep命令和sed命令

一.正则表达式概述

1.正则表达式定义

1.1 定义

• 使用字符串描述、匹配一系列符合某个规则的字符串

  1.2 了解

  • 普通字符： 大小写字母、数字、标点符号及一些其它符号
  • 元字符： 在正则表达式中具有特殊意义的专用字符

    1.3 层次分类

    • 基础正则表达式
    • 扩展正则表达式
    • 编程语言支持的高级正则表达式

      1.4 linux三剑客（grep  sed  awk）支持的正则表达式

      • shell是不支持正则表达式的（shell支持的是通配符）。shell中的正则表达式只有个别命令支持的，一般常用的是Linux三剑客

        支持正则的shell命令	正则类型
        grep	默认使用基本正则表达式(BRE)（要使用扩展正则需要加转义字符）
        egrep 或 grep -E	使用扩展的正则表达式(ERE)
        sed	默认使用基本正则表达式（BRE）
        awk	使用扩展正则表达式(ERE)

        2.基础正则表达式的元字符

        基础正则表达式是常用的正则表达式部分

        \	表示转义字符，去掉特殊符号的特殊含义
        .	匹配任意单个字符
        ^	匹配字符串开头的位置
        $	匹配字符串末尾的位置
        *	匹配前面的字符出现0~+∞
        [list]	匹配list列表中的一个字符（列表中只要有一个符合即可）
        [^list]	匹配任意非list列表中的一个字符
        {n}	匹配前面的子表达式n次
        {n,}	匹配前面的子表达式最少n次
        {,n}	匹配前面的子表达式最多n次
        {n,m}	匹配前面的子表达式n到m次
        [ ]	代表单个字符
        \?	1次或0次
        ^$	空行
        .*	1~+∞

        2.1 转义字符的运用

        2.1.1 将特殊含义的字符转换为普通字符的含义

        被转义的特殊字符	转义前的含义作用
        \ =	具有赋值的作用，或则进行字符判断
        \ !	取反
        \ &	单个&符可以将命令挂在后台上，两个是逻辑符号且的作用
        \ $	取值变量的作用

        2.1.2 将普通字符转换为特殊作用的字符

        被赋予新含义的普通字符	现在拥有的作用
        \n	换行
        \t	转化为制表符
        \w（小写）	匹配包括下划线的任何单词字符
        \W(大写)	匹配任何非单词字符。等通于"[^A-Za-z0-9_]"
        \r	转换后是回车符
        \d	匹配一个数字字符
        \D	匹配一个非数字字符。等价于[^0-9]
        \s（小写）	空白符
        \S(大写)	非空白符

        2.1.3 中括号表达式

        普通中括号包围的字符组，表示某个单个字符匹配中括号内的任意字符即匹配成功

        • x[abc]z ： 可以匹配包含“xaz”、“xbz”、“xcz”的字符串
        • 取反表示法： 中括号内开头使用 ^ ,表示只要不是中括号内的字符就匹配   

                          x[ ^abc]z ： 可以匹配包含 “xdz”、“xez” 等字符串，但不能匹配包含“xaz”、“xbz”、“xcz”的字符串 

          特殊元字符在中括号中匹配

          • 想要在中括号中匹配： ^ ，需要将其放在 中括号非开头的位置 ，如：[a^]
          • 想要在中括号中匹配： - ，需要将其放在 开头位置或结尾位置 ，如：[abc-]、[-abc]
          • 想要在中括号中匹配： ] ，需要将其放在 开头位置 ，如：[]abc]

            2.1.4 位置匹配

            只匹配字符，不匹配字符

            • ^ ： 匹配行首
            • $ ： 匹配行尾
            • \b   匹配单词边界处的位置（开头和结尾） \bword\b 等价于 \
            • \<   匹配单词开头处的位置
            • \>   匹配单词结尾处的位置
            • \B   匹配非单词边界处的位置

              2.1.5 字符类

              [:alnum:]	字母和数字
              [:alpha:]	代表任何英文大小写字母 A-Z  a-z
              [:lower:]	小写字母
              [:upper:]	大写字母
              [:blank:]	空白字符
              [:space:]	包括空格、制表符 (水平和垂直)、换行符、回车符等各种类型的空白,比[:blank:]包含的范围广
              [:cntrl:]	不可打印的控制字符（退格、删除、警铃...）
              [:digit:]	十进制数字
              [:xdigit:]	十六进制数字
              [:graph:]	可打印的非空白字符
              [:print:]	可打印字符
              [:punct:]	标点符号

              2.1.6 量词

              \{m\} ： 表示匹配前一个字符或前一个子表达式m次

              • \{m，n\} ： （m

              • \{m，\} ： 表示匹配前一个字符或前一个子表达式至少m次

              • \{，n\} ： 表示匹配前一个字符或前一个字表达式最多n次（匹配0次也算是成功）

              • *  表示前一个字符或前一个子表达式匹配0次或多次，等价于：{0，}

              • .*   匹配任意长度的任意字符

                3.扩展正则表达式的元字符

                支持awk和egrep使用，如果grep和sed想要正常使用（grep -E  sed -r）

                元字符	作用含义
                +	匹配前面子表达式1次及以上
                ？	匹配前面子表达式0次或者1次
                （）	将括号中的字符串作为一个整体
                |	以"或"的方式匹配字符串

                3.1 扩展常用的量词

                • +  表示匹配前一个字符或前一个子表达式1或多次，即至少一次 等价于 {1, }
                • ?  表示匹配前一个字符或前一个子表达式0或1次，等价于 {0,1} 等价于 {,1}

                  3.2 分组捕获和反向引用

                  使用小括号（）包围一部分正则表达式，这部分正则表达式即成为一个分组整体，也称为一个子表达式。

                  分组后可以使用 \N 来反向引用对应的分组匹配结果，N是1-9的正整数，\1表示第一个分组表达式的匹配结果，\2表达第二个分组表达式的匹配结果。

                  注意：反向引用引用的是分组匹配后的结果，不是分组表达式

                  例如：正则表达式：(abc|def) and \1xyz 可以匹配字符串“abc and abcxyz ” 或“def and defxyz”，但是不能匹配“abc and defxyz” 或 “def and abcxyz”

                  二.grep 命令

                  1.命令简介

                  grep 是一种强大的文本搜索工具，它能使用正则表达式，并把匹配的行打印出来

                  格式：

                  grep  [options]  pattern   [file]
                  options表示：选项;    pattern 表示：匹配的的表达式;   file 表示：文件名
                  例如：grep  -i  "root" /etc/passwd
                  

                  2.常用选项

                  -m  数字	匹配到数字行停止
                  -v	取反
                  -i	忽略字符大小写
                  -n	显示匹配的行号
                  -c	统计匹配的行数
                  -o	仅显示匹配到的字符串
                  -q	静默模式，不输出任何信息
                  -A  数字	after  后数字行
                  -B  数字	before    前数字行
                  -C  数字	context   前后各数字行
                  -e	实现多个选项间的逻辑 or 关系
                  -E	使用ERE，相当于egrep
                  -w	匹配整个单词
                  -F	不支持正则表达式，相当于fgrep
                  -f	处理两个文件相同内容，把第一个文件作为匹配条件
                  -r	递归目录，但不处理软连接   开始搜索目录
                  -R	递归目录，但处理软连接

                  操作：

                  -m

                  

                  -i

                  

                  -n

                  

                  -c

                  

                  -o

                  

                  -q

                  

                  -A  -B  -C

                  

                  

                  

                  -e

                  

                  -w

                  

                  -E

                  

                  扩展正则中这些元字符可直接使用： ? 、 + 、 { 、 } 、 | 、 ( 和 ) 。 基础正则中这些元字符前需要加反斜线转义： \? 、 \+ 、 \{ 、 \} 、 \| 、 \( 和 \) 。 grep sed  默认使用基础正则表达式 grep -E 、 sed -r 、 egrep 、 awk 扩展正则表达式

                  -r

                  

                  3.操作

                  ① 统计当前主机的连接状态

                  

                  ② 统计当前连接主机数

                  

                  ③ 匹配QQ号

                  

                  ④ 匹配电话号码

                  

                  ⑤  匹配邮箱

                  

                  ⑥ 统计 /etc/fstab 下面有多少单词

                  

                  三.sed命令

                  1.关于sed

                  1.1 简介

                  sed 是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到最后一行。每当处理一行时，把当前处理的行存储在临时缓冲区中，称为模式空间（PatternSpace），接着用 sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。一次处理一行的设计模式使得 sed 性能很高，sed 在读取大文件时不会出现卡顿的现象。如果使用 vi 命令打开几十M上百M的文件，明显会出现有卡顿的现象，这是因为 vi 命令打开文件是一次性将文件加载到内存，然后再打开。sed 就避免了这种情况，一行一行的处理，打开速度非常快，执行速度也很快。

                  1.2 sed 编辑器的工作过程

                  sed 的工作流程主要包括读取、执行和显示三个过程：

                  

                  • 读取： sed 从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。
                  • 执行： 默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。
                  • 显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行， 直至所有内容被处理完。

                    注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用 "sed -i" 修改源文件、或使用重定向输出到新的文件中。

                    1.3 玛玛哈哈

                    怎么解决 sed 命令处理容量过大，或内容过多而导致执行效率缓慢的问题？

                    方案一：

                    使用 split 命令进行文件分割（如果文件是百万行的，那么我们就创建一个单独的目录，将文件分割为一百个一万行的文本），再使用 sed 命令进行处理，除了使用 split 分割，也可以使用一个遍历分割shell脚本进行执行。

                    方案二：

                    cat  文件名 | sed  处理    （这个方案只能针对中型的文件文本，如果文本量过大，处理效果不好）

                    2.sed 命令与选项操作符

                    1. 格式

                    sed [option]... 'script;script;...' [input  file...]
                         选项         自身脚本语法         支持标准输入管道

                    2.常用选项

                    -e	用指定命令或者脚本来处理输入的文本文件 只有一个操作命令时省略，一般在执行多个操作命令使用
                    -f	用指定的脚本文件来处理输入的文本文件
                    -n	不输出模式空间内容到屏幕，即不自动打印 可以与 p 命令一起使用完成输出
                    -r  -E	使用扩展正则表达式
                    -h	显示帮助
                    -i	直接修改目标文件
                    -i.xxx	备份文件并原处编辑
                    -s	将多个文件视为独立文件，而不是单个连续的长文件流

                    3.操作符

                    “操作”用于指定文件对操作的动作行为，也就是 sed 的命令。

                    通常情况下是采用的 “[n1[,n2]]” 操作参数的格式。n1、n2是可选的，代表选择进行操作的行数，如操作需要在5~20行之间进行，则表示为 “5,20 动作行为” 

                    s	替换，替换指定字符
                    d	删除，删除选定的行
                    a	增加，在当前行下方增加一行指定内容
                    i	插入，在选定行上方插入一行指定内容
                    c	替换，将选定行替换为指定内容
                    w	保存模式匹配的行至指定文件
                    r	读取指定文件的文本至模式空间中匹配的行后
                    y	字符转换，转换前后的字符长度必须相同
                    p	打印行内容。如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用
                    =	打印行号
                    l(小写L)	打印数据流中的文本和不可打印的ASCII字符（如结束符$  制表符\t）

                    操作：

                    

                    

                    

                    

                    

                    

                    

                    显示第二行内容

                    

                    4.脚本格式

                    由 ‘地址+命令’ 组成

                    ① 不给地址  对全文进行处理

                    ② 单地址  

                      数字    指定的数字行

                      $        最后一行

                    ③ 地址范围

                    x,x    从第x行到第x行     3，6  从第3行到第6行

                    x,+x   从x行到+x行      3，+4   从3行到第7行

                    /pat1/,/pat2/     第一个正则表达式和第二个正则表达式之间的行

                    ④ 步进  ~

                    1~2  奇数行

                    2~2  偶数行

                    n;打印下一行

                    

                    操作：

                    

                    

                    

                    

                    小问题：

                    如何打印一段时间间的日志

                    

                    5.搜索替代

                    s/pattern/string/修饰符 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
                    替换修饰符：
                    g 行内全局替换
                    p 显示替换成功的行
                    w   /PATH/FILE 将替换成功的行保存至文件中
                    & 指代之前找到的内容

                    

                    指代变量

                    

                    分组替换

                    sed  -nr  's/正则匹配/\1/p'

                    

                    还可以变换顺序

                    

                    操作：

                    取ip

                    ①

                    

                    ② 

                    

                    或者

                    

                    提取版本号

                    

                    

                    提取0644

                    

                    6.变量

                    

                    

                    修改端口

                    

                    

                    修改网卡名