Shell sed 命令

发表于 更新于 分类于 阅读次数： Valine：

概述

sed是stream editor的简称，是一款功能强大的流式文本编辑器。由于sed是以行为单位进行编辑文件 , 因此也称为行编辑器。

sed由标准输入读取编辑文件，读入一行或指定行放到模式空间”pattern space”，然后将所有编辑指令逐一对模式空间的内容进行编辑，之后将结果输出到标准输出，同时清除模式空间。接下来再将下一行资料读入模式空间，如此重复之前的操作，直到最后一行，流编辑器停止。

默认情况下所有的输出行都被打印到屏幕上，源文件内容并没有改变，除非你使用重定向存储输出。

sed 可以配合正则表达式使用，对文件内容进行替换、删除、新增、选取特定行等功能，用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等，功能十分强大。

系统差异

linux 环境默认是 GNU sed, macOS 默认使用的 BSD sed。

macOS下sed总是会碰到一些奇怪的问题，或者查到命令执行无效，所以在macOS下最好安装gnu-sed，用gsed与linux下的sed是几乎一样的。

brew install gnu-sed

#然后设置到环境变量 .bash_profile 或 .zshrc 即可
PATH="/opt/homebrew/opt/gnu-sed/libexec/gnubin:$PATH"

语法

命令格式

sed [option] 'command' input_file

常用选项-option

  • -n 使用安静silent模式。在一般sed的用法中，所有来自stdin的内容一般都会被列出到屏幕上。但如果加上-n参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来

  • -e 直接在指令列模式上进行 sed 的动作编辑

  • -f 直接将 sed 的动作写在一个文件内，-f filename则可以执行filename内的sed命令

  • -r 让sed命令支持扩展的正则表达式(默认是基础正则表达式)

  • -i 直接修改读取的文件内容，而不是由屏幕输出

常用命令-command

  • a\：追加行，a\的后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选择的行的后面都加上字符串s

  • c\：替换行，c\后面跟上字符串s(多行字符串可以用\n分隔)，则会将当前选中的行替换成字符串s

  • i\：插入行，i\后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选中的行的前面都插入字符串s

  • d：删除行delete，该命令会将当前选中的行删除

  • p：打印print，该命令会打印当前选择的行到屏幕上

  • y：替换字符，通常y命令的用法是这样的：y/Source-chars/Dest-chars/，分割字符/可以用任意单字符代替，用Dest-chars中对应位置的字符替换掉Soutce-chars中对应位置的字符

  • s：替换字符串，通常s命令的用法是这样的：1,$s/Regexp/Replacement/Flags，分隔字符/可以用其他任意单字符代替，用Replacement替换掉匹配字符串

替换选项

  • \digit：Replacement中可含有后向引用中的\digit(digit是1至9)，引用前面定义的子表达

  • &：代表模版空间中的整个匹配部分

  • \L：将在其后的替换部分转换成小写字母，直到发现一个\U或\E，GNU扩展功能

  • \l：将下一个字符转换成小写字母，GNU扩展功能

  • \U：将在其后的替换部分转换成大写字母，直到发现一个\L或\E，GNU扩展功能

  • \u：将下一个字符转换成大写字母，GNU扩展功能

  • \E：停止由\L或\U指示开始的大小写转换，GNU扩展功能

标志选项

  • g：将用Replacement替换模版空间中所有匹配Regexp的部分，则不仅仅是第一个匹配部分

  • digit：只用Replacement替换模版空间中第digit(digit是1至9)个匹配Regexp的部分

  • p：若发生了替换操作，指示显示模版空间中新的数据

  • w file-name：若发生了替换操作，指示将模版空间中新的数据写入指定的文件file-name中

  • i：表示进行Regexp匹配时，是不区分大小写字母的

正则表达式

元字符 说明
* 将*前面的正则表达式匹配的结果重复任意次(含0次)。
\+ 与星号(*)相同，只是至少重复1次，GNU的扩展功能。
\? 与星号(*)相同，只是最多重复1次，GNU的扩展功能。
\{i\} 与星号(*)相同，只是重复指定的i次。
\{i,j\} 与星号(*)相同，只是重复i至j次。
\{i, \} 与星号(*)相同，只是至少重复i次。
\(regexp\) 将regexp看作一个整体，用于后向引用，与\digit配合使用。
. 匹配任意单个字符。
^ 匹配模版空间开始处的NULL字符串。
$ 匹配的是模版空间结束处的NULL字符串。
[list] 匹配方括号中的字符列表中的任意一个。
[^list] 否定匹配方括号中的字符列表中的任意一个。
`regexp1\\\ regexp2`
regexp1regexp2 匹配regexp1和regexp2的连接结果。
\digit 匹配正则表达式前半部分定义的后向引用的第digit个子表达式。digit为1至9的数字, 1为从左开始。
\n 匹配换行符。
\meta 将元字符meta转换成普通字符，以便匹配该字符本身，有$、 *、 .、 [、 \ 和 ^。

sed中使用正则表达式进行替换的时候，一定要注意，有些特殊字符在使用时要转义，目前发现的有：

  • 用于分组的小括号：()，在使用时要用\进行转义，但是匹配字符串中真正的小括号时，无需转义；
  • 表示前面的表达式出现次数的{}，也要转义；
  • 表示前面的表达式出现1次或多次的+，也要转义，在使用时，要用+
  • 表示前面的表达式至多出现1次?，也要转义，在使用时，要用?

不需要转义的特殊字符：

  • 用于表示字符集的[]
  • 表示前面的表达式出现0次或多次的*

有些特殊字符在sed的正则表达式中不能用，例如

  • 要表示匹配- 一个数字不能用\d，而要用[0-9]
  • 要表示匹配一个数字不能用\w，而要用[a-zA-Z]

示例

1、a\追加文本

gnu sed:

sed "$line a\\(多加一个\，防止后面的$value被转义)$value" $file

mac sed:

sed "$line a\ (注意此处有空格,要在下一行添加文本)
$value(如果想换行要把"写到下一行)
" $file

例如，在test.txt第二行插入xxx
gnu:

sed "2 a\\xxx" test.txt

mac:

sed "2 a\   
xxx
" test.txt

i\是在某一行之前插入，操作和a\一样。
mac:

sed '1i \ 
hello world
' test.txt

2、删除行

删除行需要使用命令 d：

$ sed '1d' test.txt            # 删除第一行
$ sed '$d' test.txt            # 删除最后一行
$ sed '1,2d' test.txt          # 删除第一行到第二行
$ sed '2,$d' test.txt          # 删除第二行到最后一行

3、查找替换

# 替换文件中的所有匹配项，.bak为可选，表示备份源文件为INPUTFILE.bak
sed -i.bak 's/SEARCH_REGEX/REPLACEMENT/g' INPUTFILE

# 分界符也可使用（|）或冒号（:）使用其他任意字符
sed -i 's|SEARCH_REGEX|REPLACEMENT|g' INPUTFILE

# 要使模式匹配不区分大小写同时使用g和I选项
sed -i 's/SEARCH_REGEX/REPLACEMENT/gI' INPUTFILE

# 同时执行两个替换规则
sed -i 's/SEARCH_REGEX/REPLACEMENT/g;s/SEARCH_REGEX/REPLACEMENT/g' INPUTFILE

# Long开头的行都会被替换成int
sed 's/^Long/int/g' test.txt

# 精确匹配，\b匹配单词边界，注意macos下sed无法使用\b规则，可以安装gnu-sed
sed 's/\<pattern\>/REPLACEMENT/g' INPUTFILE
sed 's/\bpattern\b/REPLACEMENT/g' INPUTFILE

包括某些字符匹配

  • -i-此选项告诉sed直接编辑文件，添加.bak作为备份文件名称，如果不需要备份文件，则使用-i “”
  • s-是替换命令，可能是sed中最常用的命令。
  • /-分隔符。它可以是任意字符，但通常使用斜杠（/）作为分隔符
  • SEARCH_REGEX -要搜索的普通字符串或正则表达式。
  • REPLACEMENT-使用此字符串进行替换。
  • g-全局替换标志。默认情况下，sed逐行读取文件，并且仅更改文件行中第一次出现的
  • INPUTFILE -要执行替换，删除，编辑等操作文件的名称。

sed表达式可以使用单引号来引用，但是如果表达式内部包含变量字符串，就需要使用双引号。