腳本具有的特點(diǎn)是執(zhí)行速度快,是解釋性語(yǔ)言
一、如何將命令輸出結(jié)果定義為變量:
sed工具----------var = $(echo $var | sed -n '1p' 4.txt) //讀取4.txt的第一行數(shù)據(jù),并將輸出定義為var
awk--------------len=`echo ${Myline}|awk '{print match($0,"named")}'`,字符串Myline中出現(xiàn)named的位置
grep--------------VAR=`echo $TB_COUNT | grep "[0-9]"`
二。文件操作:
$ echo "The log files have all been done"> myfile:寫字符串到文件中,并覆蓋原有的內(nèi)容
$ echo "The log files have all been done">> myfile:寫字符串到文件,注意是追加到文件末尾
val=$(cat named.conf),一次性讀文件內(nèi)容到字符串var中,這個(gè)var會(huì)自動(dòng)將文件中的多個(gè)空格轉(zhuǎn)換成一個(gè)空格
讀文件時(shí),一次讀一行;但while循環(huán)里面的變量是一般傳不到循環(huán)外的,因?yàn)椋瑆hile循環(huán)是一個(gè)子shell,
解決方法是通過(guò)重定向,例子如下:RPO和PROPATH都是循環(huán)外面定義的變量
cat 2.txt >/tmp/temp2.txt
while read Myline
do
ccc=`echo ${Myline}|awk '{print match($0,"Sl+")}'`
if [ $ccc -gt 0 ]
then
PRO=`echo ${temp}|awk '{print substr($0,"'$start'","'$n'")}'`
PROPATH=$PRO
break
fi
done</tmp/temp2.txt
rm /tmp/temp2.txt -f
三、其他:
set 查看所有變量(包括系統(tǒng)的、自定義的)
cut的橫向定位:
cut-c m-nfile 表示顯示每一行的第m個(gè)字元到第n個(gè)字元,如果有過(guò)個(gè)區(qū)域,用,隔開如: cut -c 3-9,12-20 file
cut -d: -f 1 /etc/passwd -d是分隔符,默認(rèn)的是TAB,也定義其他的:如cut -d'|' 1.test用|做分隔符,可以用“”;
f1表示每一行的第一個(gè)字段(和awk的域概念類似),f2-5,每一行的2-5個(gè)字段
cut的縱向定位
cut -b list [-n] [file ...] cut -c list [file ...] cut -f list [-d delim][-s][file ...]
上面的-b、-c、-f分別表示字節(jié)、字符、字段(即byte、character、field);list表示-b、-c、-f操作范圍,-n常常表示具體數(shù)字;
file表示的自然是要操作的文本文件的名稱;delim(英文全寫:delimiter)表示分隔符,默認(rèn)情況下為TAB;
-s表示不包括那些不含分隔符的行(這樣有利于去掉注釋和標(biāo)題)
范圍的表示方法:N 只有第N項(xiàng) N- 從第N項(xiàng)一直到行尾 N-M 從第N項(xiàng)到第M項(xiàng)(包括M)
-M 從一行的開始到第M項(xiàng)(包括M) - 從一行的開始到結(jié)束的所有項(xiàng)
cat >file 1&2來(lái)完成。這個(gè)命令的含義就是將標(biāo)準(zhǔn)輸出流(參數(shù)1表示)與錯(cuò)誤輸出流(參數(shù)2表示)的輸出合并在一起,然后通過(guò)重定向符號(hào)保存在管理員指定的文件中。也可以寫成cat>&file,這樣不會(huì)在屏幕上輸出任何信息,這兩個(gè)例子適合所有的重定向文件。
將文件的所有大寫字母轉(zhuǎn)小寫:sed -i 's/[^ ]*/\L&/' urfile,如果要轉(zhuǎn)小寫,將L換成U就可以了.
統(tǒng)計(jì)字符串中某個(gè)字符出現(xiàn)的次數(shù)的方法
echo "abcdabc1234abc" | awk -F'a' '{print NF-1}'
echo abcdabc1234abc | grep -o 'a' | wc -l
echo "abcdaaaaaaaaabc1234abc" | awk '{print gsub("a","a")}'
四、判斷文件是否存在和變量是否相等
-x 參數(shù)判斷$myPath是否存在并且是否具有可執(zhí)行權(quán)限
if [[ ! -x "$myPath "]]
then
mkdir "$myPath"
fi
-d 參數(shù)判斷$myPath是否存在
if [[ ! -d "$myPath" ]]
then
mkdir "$myPath"
fi
-f參數(shù)判斷$myFile是否存在
if [[ ! -f "$myFile" ]]
then
touch "$myFile"
fi
-n是判斷一個(gè)變量是否是否有值
if [[ ! -n "$myVar" ]]
then
echo "$myVar is empty"
exit 0
fi
判斷兩個(gè)變量是否相等,下面的=也可換成==,去掉雙引號(hào)也是可以的,比較靈活
if [[ "$var1" = "$var2" ]]
then
echo '$var1 eq $var2'
else
echo '$var1 not eq $var2'
fi
-f 和-e的區(qū)別
Conditional Logic on Files
五、如何編寫一個(gè)子函數(shù)
不用聲明,只是在腳本的開始部分定義即可;可以返回值,但必須是數(shù)值,不能是字符串;
也可以向函數(shù)傳參,在函數(shù)中用$1,$2來(lái)表示第一個(gè)和第二個(gè)參數(shù),以此類推。
下面的例子是個(gè)合并文件的函數(shù)
fun_Merge()
{
if [[ -d "$1" ]]
then
cat $1>>$2
fi
}
調(diào)用方法:fun_Merge include.txt $filename
$@ 獲取所有參數(shù),$#獲取所有參數(shù)個(gè)數(shù),當(dāng)然函數(shù)也可以有自己的本地變量
六、其他:
將文件中的{替換為 {-----sed -i "s/{/ {/g" $filename
sh your.sh-------------------檢查your.sh是否有語(yǔ)法錯(cuò)誤
export PS4='+{$LINENO:${FUNCNAME[0]}} ';sh -x your.sh---調(diào)試shell腳本,可打印出每行執(zhí)行結(jié)果和函數(shù);$LINENO
代表shell腳本的當(dāng)前行號(hào),類似于C語(yǔ)言中的內(nèi)置宏__LINE__ ;$FUNCNAME是一個(gè)數(shù)組變量,其中包含了整個(gè)調(diào)用鏈上所有的函數(shù)的名字,故變量${FUNCNAME[0]}代表shell腳本當(dāng)前正在執(zhí)行的函數(shù)的名字,而變量${FUNCNAME[1]}則代表調(diào)用函數(shù)${FUNCNAME[0]}的函數(shù)的名字,余者可以依此類推。 $PS4的值是"+"號(hào)。
檢查磁盤空間:df -h
查看目錄的大小使用:du du /* 根目錄下的所有文件夾
查看分區(qū)情況:fdisk –l /dev/sda
查看語(yǔ)言配置:locale
查看系統(tǒng)服務(wù)的狀態(tài):chkconfig --list
查看文件:cat(常用)、more、less(適合大文件);nl查看文件,同時(shí)顯示行號(hào);head和tail命令查看文件的前幾行(-n)
查找:find(基本查找)、which(通過(guò)環(huán)境變量來(lái)查找可執(zhí)行文件)、whereis(快速查找二進(jìn)制可執(zhí)行文件,并顯示源碼和手冊(cè)位置)
硬盤裝載(掛載):mount,常用的格式mount –t type dev dir,如mount -t iso9660 /dev/cdrom /media/cdrom 掛載光驅(qū);卸載:umoun
基本格式如:umount dir device ; eject將彈出和收回;fdisk列出所有設(shè)備
七、SED介紹:
sed是一種在線編輯器,它一次處理一行內(nèi)容。處理時(shí),把當(dāng)前處理的行存儲(chǔ)在臨時(shí)緩沖區(qū)中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區(qū)中的內(nèi)容,處理完成后,把緩沖區(qū)的內(nèi)容送往屏幕。接著處理下一行,這樣不斷重復(fù),直到文件末尾。文件內(nèi)容并沒(méi)有 改變,除非你使用重定向存儲(chǔ)輸出。Sed主要用來(lái)自動(dòng)編輯一個(gè)或多個(gè)文件;簡(jiǎn)化對(duì)文件的反復(fù)操作;編寫轉(zhuǎn)換程序等
方法1:
sed -i 's/被替換的內(nèi)容/要替換成的內(nèi)容/' file
方法2:
sed 's/被替換的內(nèi)容/要替換成的內(nèi)容/g' file > file.out
mv file.out file
這里注意:
不能這樣做:
sed 's/被替換的內(nèi)容/要替換成的內(nèi)容/g' file > file
這樣只會(huì)清空源文件。
2. 定址
可以通過(guò)定址來(lái)定位你所希望編輯的行,該地址用數(shù)字構(gòu)成,用逗號(hào)分隔的兩個(gè)行數(shù)表示以這兩行為起止的行的范圍(包括行數(shù)表示的那兩行)。如1,3表示1,2,3行,美元符號(hào)($)表示最后一行。范圍可以通過(guò)數(shù)據(jù),正則表達(dá)式或者二者結(jié)合的方式確定 。
3. Sed命令
調(diào)用sed命令有兩種形式:
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
<
a\
在當(dāng)前行后面加入一行文本。
b lable
分支到腳本中帶有標(biāo)記的地方,如果分支不存在則分支到腳本的末尾。
c\
用新的文本改變本行的文本。
d
從模板塊(Pattern space)位置刪除行。
D
刪除模板塊的第一行。
i\
在當(dāng)前行上面插入文本。
h
拷貝模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)。
H
追加模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)
g
獲得內(nèi)存緩沖區(qū)的內(nèi)容,并替代當(dāng)前模板塊中的文本。
G
獲得內(nèi)存緩沖區(qū)的內(nèi)容,并追加到當(dāng)前模板塊文本的后面。
l
列表不能打印字符的清單。
n
讀取下一個(gè)輸入行,用下一個(gè)命令處理新的行而不是用第一個(gè)命令。
N
追加下一個(gè)輸入行到模板塊后面并在二者間嵌入一個(gè)新行,改變當(dāng)前行號(hào)碼。
p
打印模板塊的行。
P(大寫)
打印模板塊的第一行。
q
退出Sed。
r file
從file中讀行。
t label
if分支,從最后一行開始,條件一旦滿足或者T,t命令,將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處,或者到腳本的末尾。
T label
錯(cuò)誤分支,從最后一行開始,一旦發(fā)生錯(cuò)誤或者T,t命令,將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處,或者到腳本的末尾。
w file
寫并追加模板塊到file末尾。
W file
寫并追加模板塊的第一行到file末尾。
!
表示后面的命令對(duì)所有沒(méi)有被選定的行發(fā)生作用。
s/re/string
用string替換正則表達(dá)式re。
=
打印當(dāng)前行號(hào)碼。
#
把注釋擴(kuò)展到下一個(gè)換行符以前。
以下的是替換標(biāo)記
g表示行內(nèi)全面替換。
p表示打印行。
w表示把行寫入一個(gè)文件。
x表示互換模板塊中的文本和緩沖區(qū)中的文本。
y表示把一個(gè)字符翻譯為另外的字符(但是不用于正則表達(dá)式)
4. 選項(xiàng)
<
-e command, --expression=command
允許多臺(tái)編輯。
-h, --help
打印幫助,并顯示bug列表的地址。
-n, --quiet, --silent
取消默認(rèn)輸出。
-f, --filer=script-file
引導(dǎo)sed腳本文件名。
-V, --version
打印版本和版權(quán)信息。
5. 元字符集
<
^
錨定行的開始 如:/^sed/匹配所有以sed開頭的行。
$
錨定行的結(jié)束 如:/sed$/匹配所有以sed結(jié)尾的行。
.
匹配一個(gè)非換行符的字符 如:/s.d/匹配s后接一個(gè)任意字符,然后是d。
*
匹配零或多個(gè)字符 如:/*sed/匹配所有模板是一個(gè)或多個(gè)空格后緊跟sed的行。
[]
匹配一個(gè)指定范圍內(nèi)的字符,如/[Ss]ed/匹配sed和Sed。
[^]
匹配一個(gè)不在指定范圍內(nèi)的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個(gè)字母開頭,緊跟ed的行。
\(..\)
保存匹配的字符,如s/\(love\)able/\1rs,loveable被替換成lovers。
&
保存搜索字符用來(lái)替換其他字符,如s/love/**&**/,love這成**love**。
\<
錨定單詞的開始,如:/\
\>
錨定單詞的結(jié)束,如/love\>/匹配包含以love結(jié)尾的單詞的行。
x\{m\}
重復(fù)字符x,m次,如:/0\{5\}/匹配包含5個(gè)o的行。
x\{m,\}
重復(fù)字符x,至少m次,如:/o\{5,\}/匹配至少有5個(gè)o的行。
x\{m,n\}
重復(fù)字符x,至少m次,不多于n次,如:/o\{5,10\}/匹配5--10個(gè)o的行。
6. 實(shí)例
刪除:d命令
$ sed '2d' example-----刪除example文件的第二行。
$ sed '2,$d' example-----刪除example文件的第二行到末尾所有行。
$ sed '$d' example-----刪除example文件的最后一行。
$ sed '/test/'d example-----刪除example文件所有包含test的行。
替換:s命令
$ sed 's/test/mytest/g' example-----在整行范圍內(nèi)把test替換為mytest。如果沒(méi)有g(shù)標(biāo)記,則只有每行第一個(gè)匹配的test被替換成mytest。
$ sed -n 's/^test/mytest/p' example-----(-n)選項(xiàng)和p標(biāo)志一起使用表示只打印那些發(fā)生替換的行。也就是說(shuō),如果某一行開頭的test被替換成mytest,就打印它。
$ sed 's/^192.168.0.1/&localhost/' example-----&符號(hào)表示替換換字符串中被找到的部份。所有以192.168.0.1開頭的行都會(huì)被替換成它自已加 localhost,變成192.168.0.1localhost。
$ sed -n 's/\(love\)able/\1rs/p' example-----love被標(biāo)記為1,所有l(wèi)oveable會(huì)被替換成lovers,而且替換的行會(huì)被打印出來(lái)。
$ sed 's#10#100#g' example-----不論什么字符,緊跟著s命令的都被認(rèn)為是新的分隔符,所以,“#”在這里是分隔符,代替了默認(rèn)的“/”分隔符。表示把所有10替換成100。
選定行的范圍:逗號(hào)
$ sed -n '/test/,/check/p' example-----所有在模板test和check所確定的范圍內(nèi)的行都被打印。
$ sed -n '5,/^test/p' example-----打印從第五行開始到第一個(gè)包含以test開始的行之間的所有行。
$ sed '/test/,/check/s/$/sed test/' example-----對(duì)于模板test和west之間的行,每行的末尾用字符串sed test替換。
多點(diǎn)編輯:e命令
$ sed -e '1,5d' -e 's/test/check/' example-----(-e)選項(xiàng)允許在同一行里執(zhí)行多條命令。如例子所示,第一條命令刪除1至5行,第二條命令用check替換test。命令的執(zhí) 行順序?qū)Y(jié)果有影響。如果兩個(gè)命令都是替換命令,那么第一個(gè)替換命令將影響第二個(gè)替換命令的結(jié)果。
$ sed --expression='s/test/check/' --expression='/love/d' example-----一個(gè)比-e更好的命令是--expression。它能給sed表達(dá)式賦值。
從文件讀入:r命令
$ sed '/test/r file' example-----file里的內(nèi)容被讀進(jìn)來(lái),顯示在與test匹配的行后面,如果匹配多行,則file的內(nèi)容將顯示在所有匹配行的下面。
寫入文件:w命令
$ sed -n '/test/w file' example-----在example中所有包含test的行都被寫入file里。
追加命令:a命令
$ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test開頭的行后面,sed要求命令a后面有一個(gè)反斜杠。
插入:i命令
$ sed '/test/i\\
new line
-------------------------' example
如果test被匹配,則把反斜杠后面的文本插入到匹配行的前面。
下一個(gè):n命令
$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配,則移動(dòng)到匹配行的下一行,替換這一行的aa,變?yōu)閎b,并打印該行,然后繼續(xù)。
變形:y命令
$ sed '1,10y/abcde/ABCDE/' example-----把1--10行內(nèi)所有abcde轉(zhuǎn)變?yōu)榇髮懀⒁猓齽t表達(dá)式元字符不能使用這個(gè)命令。
退出:q命令
$ sed '10q' example-----打印完第10行后,退出sed。
保持和獲取:h命令和G命令
$ sed -e '/test/h' -e '$G example-----在sed處理文件的時(shí)候,每一行都被保存在一個(gè)叫模式空間的臨時(shí)緩沖區(qū)中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 打印在屏幕上。接著模式空間被清空,并存入新的一行等待處理。在這個(gè)例子里,匹配test的行被找到后,將存入模式空間,h命令將其復(fù)制并存入一個(gè)稱為保 持緩存區(qū)的特殊緩沖區(qū)內(nèi)。第二條語(yǔ)句的意思是,當(dāng)?shù)竭_(dá)最后一行后,G命令取出保持緩沖區(qū)的行,然后把它放回模式空間中,且追加到現(xiàn)在已經(jīng)存在于模式空間中 的行的末尾。在這個(gè)例子中就是追加到最后一行。簡(jiǎn)單來(lái)說(shuō),任何包含test的行都被復(fù)制并追加到該文件的末尾。
保持和互換:h命令和x命令
$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩沖區(qū)的內(nèi)容。也就是把包含test與check的行互換。
7. 腳本
Sed腳本是一個(gè)sed的命令清單,啟動(dòng)Sed時(shí)以-f選項(xiàng)引導(dǎo)腳本文件名。Sed對(duì)于腳本中輸入的命令非常挑剔,在命令的末尾不能有任何空白或文本,如果在一行中有多個(gè)命令,要用分號(hào)分隔。以#開頭的行為注釋行,且不能跨行。
比如,如果要打印出含有字串”1024”的行,可用:cat filename | sed –n ‘/1024/p’sed
八、SED常用單行操作:
文本間隔:
--------
# 在每一行后面增加一空行
sed G
# 將原來(lái)的所有空行刪除并在每一行后面增加一空行。
# 這樣在輸出的文本中每一行后面將有且只有一空行。
sed '/^$/d;G'
# 在每一行后面增加兩行空行
sed 'G;G'
# 將第一個(gè)腳本所產(chǎn)生的所有空行刪除(即刪除所有偶數(shù)行)
sed 'n;d'
# 在匹配式樣“regex”的行之前插入一空行
sed '/regex/{x;p;x;}'
# 在匹配式樣“regex”的行之后插入一空行
sed '/regex/G'
# 在匹配式樣“regex”的行之前和之后各插入一空行
sed '/regex/{x;p;x;G;}'
編號(hào):
--------
# 為文件中的每一行進(jìn)行編號(hào)(簡(jiǎn)單的左對(duì)齊方式)。這里使用了“制表符”
# (tab,見本文末尾關(guān)于'\t'的用法的描述)而不是空格來(lái)對(duì)齊邊緣。
sed = filename | sed 'N;s/\n/\t/'
# 對(duì)文件中的所有行編號(hào)(行號(hào)在左,文字右端對(duì)齊)。
sed = filename | sed 'N; s/^/ /; s/ *\(.\{6,\}\)\n/\1 /'
# 對(duì)文件中的所有行編號(hào),但只顯示非空白行的行號(hào)。
sed '/./=' filename | sed '/./N; s/\n/ /'
# 計(jì)算行數(shù) (模擬 "wc -l")
sed -n '$='
文本轉(zhuǎn)換和替代:
--------
# Unix環(huán)境:轉(zhuǎn)換DOS的新行符(CR/LF)為Unix格式。
sed 's/.$//' # 假設(shè)所有行以CR/LF結(jié)束
sed 's/^M$//' # 在bash/tcsh中,將按Ctrl-M改為按Ctrl-V
sed 's/\x0D$//' # ssed、gsed 3.02.80,及更高版本
# Unix環(huán)境:轉(zhuǎn)換Unix的新行符(LF)為DOS格式。
sed "s/$/`echo -e \\\r`/" # 在ksh下所使用的命令
sed 's/$'"/`echo \\\r`/" # 在bash下所使用的命令
sed "s/$/`echo \\\r`/" # 在zsh下所使用的命令
sed 's/$/\r/' # gsed 3.02.80 及更高版本
# DOS環(huán)境:轉(zhuǎn)換Unix新行符(LF)為DOS格式。
sed "s/$//" # 方法 1
sed -n p # 方法 2
# DOS環(huán)境:轉(zhuǎn)換DOS新行符(CR/LF)為Unix格式。
# 下面的腳本只對(duì)UnxUtils sed 4.0.7 及更高版本有效。要識(shí)別UnxUtils版本的
# sed可以通過(guò)其特有的“--text”選項(xiàng)。你可以使用幫助選項(xiàng)(“--help”)看
# 其中有無(wú)一個(gè)“--text”項(xiàng)以此來(lái)判斷所使用的是否是UnxUtils版本。其它DOS
# 版本的的sed則無(wú)法進(jìn)行這一轉(zhuǎn)換。但可以用“tr”來(lái)實(shí)現(xiàn)這一轉(zhuǎn)換。
sed "s/\r//" infile >outfile # UnxUtils sed v4.0.7 或更高版本
tr -d \r <infile >outfile # GNU tr 1.22 或更高版本
# 將每一行前導(dǎo)的“空白字符”(空格,制表符)刪除
# 使之左對(duì)齊
sed 's/^[ \t]*//' # 見本文末尾關(guān)于'\t'用法的描述
# 將每一行拖尾的“空白字符”(空格,制表符)刪除
sed 's/[ \t]*$//' # 見本文末尾關(guān)于'\t'用法的描述
# 將每一行中的前導(dǎo)和拖尾的空白字符刪除
sed 's/^[ \t]*//;s/[ \t]*$//'
# 在每一行開頭處插入5個(gè)空格(使全文向右移動(dòng)5個(gè)字符的位置)
sed 's/^/ /'
# 以79個(gè)字符為寬度,將所有文本右對(duì)齊
sed -e :a -e 's/^.\{1,78\}$/ &/;ta' # 78個(gè)字符外加最后的一個(gè)空格
# 以79個(gè)字符為寬度,使所有文本居中。在方法1中,為了讓文本居中每一行的前
# 頭和后頭都填充了空格。 在方法2中,在居中文本的過(guò)程中只在文本的前面填充
# 空格,并且最終這些空格將有一半會(huì)被刪除。此外每一行的后頭并未填充空格。
sed -e :a -e 's/^.\{1,77\}$/ & /;ta' # 方法1
sed -e :a -e 's/^.\{1,77\}$/ &/;ta' -e 's/\( *\)\1/\1/' # 方法2
# 在每一行中查找字串“foo”,并將找到的“foo”替換為“bar”
sed 's/foo/bar/' # 只替換每一行中的第一個(gè)“foo”字串
sed 's/foo/bar/4' # 只替換每一行中的第四個(gè)“foo”字串
sed 's/foo/bar/g' # 將每一行中的所有“foo”都換成“bar”
sed 's/\(.*\)foo\(.*foo\)/\1bar\2/' # 替換倒數(shù)第二個(gè)“foo”
sed 's/\(.*\)foo/\1bar/' # 替換最后一個(gè)“foo”
# 只在行中出現(xiàn)字串“baz”的情況下將“foo”替換成“bar”
sed '/baz/s/foo/bar/g'
# 將“foo”替換成“bar”,并且只在行中未出現(xiàn)字串“baz”的情況下替換
sed '/baz/!s/foo/bar/g'
# 不管是“scarlet”“ruby”還是“puce”,一律換成“red”
sed 's/scarlet/red/g;s/ruby/red/g;s/puce/red/g' #對(duì)多數(shù)的sed都有效
gsed 's/scarlet\|ruby\|puce/red/g' # 只對(duì)GNU sed有效
# 倒置所有行,第一行成為最后一行,依次類推(模擬“tac”)。
# 由于某些原因,使用下面命令時(shí)HHsed v1.5會(huì)將文件中的空行刪除
sed '1!G;h;$!d' # 方法1
sed -n '1!G;h;$p' # 方法2
# 將行中的字符逆序排列,第一個(gè)字成為最后一字,……(模擬“rev”)
sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'
# 將每?jī)尚羞B接成一行(類似“paste”)
sed '$!N;s/\n/ /'
# 如果當(dāng)前行以反斜杠“\”結(jié)束,則將下一行并到當(dāng)前行末尾
# 并去掉原來(lái)行尾的反斜杠
sed -e :a -e '/\\$/N; s/\\\n//; ta'
# 如果當(dāng)前行以等號(hào)開頭,將當(dāng)前行并到上一行末尾
# 并以單個(gè)空格代替原來(lái)行頭的“=”
sed -e :a -e '$!N;s/\n=/ /;ta' -e 'P;D'
# 為數(shù)字字串增加逗號(hào)分隔符號(hào),將“1234567”改為“1,234,567”
gsed ':a;s/\B[0-9]\{3\}\>/,&/;ta' # GNU sed
sed -e :a -e 's/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta' # 其他sed
# 為帶有小數(shù)點(diǎn)和負(fù)號(hào)的數(shù)值增加逗號(hào)分隔符(GNU sed)
gsed -r ':a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/\1\2,\3/g;ta'
# 在每5行后增加一空白行 (在第5,10,15,20,等行后增加一空白行)
gsed '0~5G' # 只對(duì)GNU sed有效
sed 'n;n;n;n;G;' # 其他sed
選擇性地顯示特定行:
--------
# 顯示文件中的前10行 (模擬“head”的行為)
sed 10q
# 顯示文件中的第一行 (模擬“head -1”命令)
sed q
# 顯示文件中的最后10行 (模擬“tail”)
sed -e :a -e '$q;N;11,$D;ba'
# 顯示文件中的最后2行(模擬“tail -2”命令)
sed '$!N;$!D'
# 顯示文件中的最后一行(模擬“tail -1”)
sed '$!d' # 方法1
sed -n '$p' # 方法2
# 顯示文件中的倒數(shù)第二行
sed -e '$!{h;d;}' -e x # 當(dāng)文件中只有一行時(shí),輸入空行
sed -e '1{$q;}' -e '$!{h;d;}' -e x # 當(dāng)文件中只有一行時(shí),顯示該行
sed -e '1{$d;}' -e '$!{h;d;}' -e x # 當(dāng)文件中只有一行時(shí),不輸出
# 只顯示匹配正則表達(dá)式的行(模擬“grep”)
sed -n '/regexp/p' # 方法1
sed '/regexp/!d' # 方法2
# 只顯示“不”匹配正則表達(dá)式的行(模擬“grep -v”)
sed -n '/regexp/!p' # 方法1,與前面的命令相對(duì)應(yīng)
sed '/regexp/d' # 方法2,類似的語(yǔ)法
# 查找“regexp”并將匹配行的上一行顯示出來(lái),但并不顯示匹配行
sed -n '/regexp/{g;1!p;};h'
# 查找“regexp”并將匹配行的下一行顯示出來(lái),但并不顯示匹配行
sed -n '/regexp/{n;p;}'
# 顯示包含“regexp”的行及其前后行,并在第一行之前加上“regexp”所
# 在行的行號(hào) (類似“grep -A1 -B1”)
sed -n -e '/regexp/{=;x;1!p;g;$!N;p;D;}' -e h
# 顯示包含“AAA”、“BBB”或“CCC”的行(任意次序)
sed '/AAA/!d; /BBB/!d; /CCC/!d' # 字串的次序不影響結(jié)果
# 顯示包含“AAA”、“BBB”和“CCC”的行(固定次序)
sed '/AAA.*BBB.*CCC/!d'
# 顯示包含“AAA”“BBB”或“CCC”的行 (模擬“egrep”)
sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d # 多數(shù)sed
gsed '/AAA\|BBB\|CCC/!d' # 對(duì)GNU sed有效
# 顯示包含“AAA”的段落 (段落間以空行分隔)
# HHsed v1.5 必須在“x;”后加入“G;”,接下來(lái)的3個(gè)腳本都是這樣
sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'
# 顯示包含“AAA”“BBB”和“CCC”三個(gè)字串的段落 (任意次序)
sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'
# 顯示包含“AAA”、“BBB”、“CCC”三者中任一字串的段落 (任意次序)
sed -e '/./{H;$!d;}' -e 'x;/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d
gsed '/./{H;$!d;};x;/AAA\|BBB\|CCC/b;d' # 只對(duì)GNU sed有效
# 顯示包含65個(gè)或以上字符的行
sed -n '/^.\{65\}/p'
# 顯示包含65個(gè)以下字符的行
sed -n '/^.\{65\}/!p' # 方法1,與上面的腳本相對(duì)應(yīng)
sed '/^.\{65\}/d' # 方法2,更簡(jiǎn)便一點(diǎn)的方法
# 顯示部分文本——從包含正則表達(dá)式的行開始到最后一行結(jié)束
sed -n '/regexp/,$p'
# 顯示部分文本——指定行號(hào)范圍(從第8至第12行,含8和12行)
sed -n '8,12p' # 方法1
sed '8,12!d' # 方法2
# 顯示第52行
sed -n '52p' # 方法1
sed '52!d' # 方法2
sed '52q;d' # 方法3, 處理大文件時(shí)更有效率
# 從第3行開始,每7行顯示一次
gsed -n '3~7p' # 只對(duì)GNU sed有效
sed -n '3,${p;n;n;n;n;n;n;}' # 其他sed
# 顯示兩個(gè)正則表達(dá)式之間的文本(包含)
sed -n '/Iowa/,/Montana/p' # 區(qū)分大小寫方式
選擇性地刪除特定行:
--------
# 顯示通篇文檔,除了兩個(gè)正則表達(dá)式之間的內(nèi)容
sed '/Iowa/,/Montana/d'
# 刪除文件中相鄰的重復(fù)行(模擬“uniq”)
# 只保留重復(fù)行中的第一行,其他行刪除
sed '$!N; /^\(.*\)\n\1$/!P; D'
# 刪除文件中的重復(fù)行,不管有無(wú)相鄰。注意hold space所能支持的緩存
# 大小,或者使用GNU sed。
sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'
# 刪除除重復(fù)行外的所有行(模擬“uniq -d”)
sed '$!N; s/^\(.*\)\n\1$/\1/; t; D'
# 刪除文件中開頭的10行
sed '1,10d'
# 刪除文件中的最后一行
sed '$d'
# 刪除文件中的最后兩行
sed 'N;$!P;$!D;$d'
# 刪除文件中的最后10行
sed -e :a -e '$d;N;2,10ba' -e 'P;D' # 方法1
sed -n -e :a -e '1,10!{P;N;D;};N;ba' # 方法2
# 刪除8的倍數(shù)行
gsed '0~8d' # 只對(duì)GNU sed有效
sed 'n;n;n;n;n;n;n;d;' # 其他sed
# 刪除匹配式樣的行
sed '/pattern/d' # 刪除含pattern的行。當(dāng)然pattern
# 可以換成任何有效的正則表達(dá)式
# 刪除文件中的所有空行(與“grep '.' ”效果相同)
sed '/^$/d' # 方法1
sed '/./!d' # 方法2
# 只保留多個(gè)相鄰空行的第一行。并且刪除文件頂部和尾部的空行。
# (模擬“cat -s”)
sed '/./,/^$/!d' #方法1,刪除文件頂部的空行,允許尾部保留一空行
sed '/^$/N;/\n$/D' #方法2,允許頂部保留一空行,尾部不留空行
# 只保留多個(gè)相鄰空行的前兩行。
sed '/^$/N;/\n$/N;//D'
# 刪除文件頂部的所有空行
sed '/./,$!d'
# 刪除文件尾部的所有空行
sed -e :a -e '/^\n*$/{$d;N;ba' -e '}' # 對(duì)所有sed有效
sed -e :a -e '/^\n*$/N;/\n$/ba' # 同上,但只對(duì) gsed 3.02.*有效
# 刪除每個(gè)段落的最后一行
sed -n '/^$/{p;h;};/./{x;/./p;}'
特殊應(yīng)用:
--------
# 移除手冊(cè)頁(yè)(man page)中的nroff標(biāo)記。在Unix System V或bash shell下使
# 用'echo'命令時(shí)可能需要加上 -e 選項(xiàng)。
sed "s/.`echo \\\b`//g" # 外層的雙括號(hào)是必須的(Unix環(huán)境)
sed 's/.^H//g' # 在bash或tcsh中, 按 Ctrl-V 再按 Ctrl-H
sed 's/.\x08//g' # sed 1.5,GNU sed,ssed所使用的十六進(jìn)制的表示方法
# 提取新聞組或 e-mail 的郵件頭
sed '/^$/q' # 刪除第一行空行后的所有內(nèi)容
# 提取新聞組或 e-mail 的正文部分
sed '1,/^$/d' # 刪除第一行空行之前的所有內(nèi)容
# 從郵件頭提取“Subject”(標(biāo)題欄字段),并移除開頭的“Subject:”字樣
sed '/^Subject: */!d; s///;q'
# 從郵件頭獲得回復(fù)地址
sed '/^Reply-To:/q; /^From:/h; /./d;g;q'
# 獲取郵件地址。在上一個(gè)腳本所產(chǎn)生的那一行郵件頭的基礎(chǔ)上進(jìn)一步的將非電郵
# 地址的部分剃除。(見上一腳本)
sed 's/ *(.*)//; s/>.*//; s/.*[:<] *//'
# 在每一行開頭加上一個(gè)尖括號(hào)和空格(引用信息)
sed 's/^/> /'
# 將每一行開頭處的尖括號(hào)和空格刪除(解除引用)
sed 's/^> //'
# 移除大部分的HTML標(biāo)簽(包括跨行標(biāo)簽)
sed -e :a -e 's/<[^>]*>//g;/</N;//ba'
# 將分成多卷的uuencode文件解碼。移除文件頭信息,只保留uuencode編碼部分。
# 文件必須以特定順序傳給sed。下面第一種版本的腳本可以直接在命令行下輸入;
# 第二種版本則可以放入一個(gè)帶執(zhí)行權(quán)限的shell腳本中。(由Rahul Dhesi的一
# 個(gè)腳本修改而來(lái)。)
sed '/^end/,/^begin/d' file1 file2 ... fileX | uudecode # vers. 1
sed '/^end/,/^begin/d' "$@" | uudecode # vers. 2
# 將文件中的段落以字母順序排序。段落間以(一行或多行)空行分隔。GNU sed使用
# 字元“\v”來(lái)表示垂直制表符,這里用它來(lái)作為換行符的占位符——當(dāng)然你也可以
# 用其他未在文件中使用的字符來(lái)代替它。
sed '/./{H;d;};x;s/\n/={NL}=/g' file | sort | sed '1s/={NL}=//;s/={NL}=/\n/g'
gsed '/./{H;d};x;y/\n/\v/' file | sort | sed '1s/\v//;y/\v/\n/'
# 分別壓縮每個(gè).TXT文件,壓縮后刪除原來(lái)的文件并將壓縮后的.ZIP文件
# 命名為與原來(lái)相同的名字(只是擴(kuò)展名不同)。(DOS環(huán)境:“dir /b”
# 顯示不帶路徑的文件名)。
echo @echo off >zipup.bat
dir /b *.txt | sed "s/^\(.*\)\.TXT/pkzip -mo \1 \1.TXT/" >>zipup.bat
使用SED:Sed接受一個(gè)或多個(gè)編輯命令,并且每讀入一行后就依次應(yīng)用這些命令。
當(dāng)讀入第一行輸入后,sed對(duì)其應(yīng)用所有的命令,然后將結(jié)果輸出。接著再讀入第二
行輸入,對(duì)其應(yīng)用所有的命令……并重復(fù)這個(gè)過(guò)程。上一個(gè)例子中sed由標(biāo)準(zhǔn)輸入設(shè)
備(即命令解釋器,通常是以管道輸入的形式)獲得輸入。在命令行給出一個(gè)或多
個(gè)文件名作為參數(shù)時(shí),這些文件取代標(biāo)準(zhǔn)輸入設(shè)備成為sed的輸入。sed的輸出將被
送到標(biāo)準(zhǔn)輸出(顯示器)。因此:
cat filename | sed '10q' # 使用管道輸入
sed '10q' filename # 同樣效果,但不使用管道輸入
sed '10q' filename > newfile # 將輸出轉(zhuǎn)移(重定向)到磁盤上
要了解sed命令的使用說(shuō)明,包括如何通過(guò)腳本文件(而非從命令行)來(lái)使用這些命
令,請(qǐng)參閱《sed & awk》第二版,作者Dale Dougherty和Arnold Robbins
(O'Reilly,1997;http://www.ora.com),《UNIX Text Processing》,作者
Dale Dougherty和Tim O'Reilly(Hayden Books,1987)或者是Mike Arst寫的教
程——壓縮包的名稱是“U-SEDIT2.ZIP”(在許多站點(diǎn)上都找得到)。要發(fā)掘sed
的潛力,則必須對(duì)“正則表達(dá)式”有足夠的理解。正則表達(dá)式的資料可以看
《Mastering Regular Expressions》作者Jeffrey Friedl(O'reilly 1997)。
Unix系統(tǒng)所提供的手冊(cè)頁(yè)(“man”)也會(huì)有所幫助(試一下這些命令
“man sed”、“man regexp”,或者看“man ed”中關(guān)于正則表達(dá)式的部分),但
手冊(cè)提供的信息比較“抽象”——這也是它一直為人所詬病的。不過(guò),它本來(lái)就不
是用來(lái)教初學(xué)者如何使用sed或正則表達(dá)式的教材,而只是為那些熟悉這些工具的人
提供的一些文本參考。
括號(hào)語(yǔ)法:前面的例子對(duì)sed命令基本上都使用單引號(hào)('...')而非雙引號(hào)
("...")這是因?yàn)閟ed通常是在Unix平臺(tái)上使用。單引號(hào)下,Unix的shell(命令
解釋器)不會(huì)對(duì)美元符($)和后引號(hào)(`...`)進(jìn)行解釋和執(zhí)行。而在雙引號(hào)下
美元符會(huì)被展開為變量或參數(shù)的值,后引號(hào)中的命令被執(zhí)行并以輸出的結(jié)果代替
后引號(hào)中的內(nèi)容。而在“csh”及其衍生的shell中使用感嘆號(hào)(!)時(shí)需要在其前
面加上轉(zhuǎn)義用的反斜杠(就像這樣:\!)以保證上面所使用的例子能正常運(yùn)行
(包括使用單引號(hào)的情況下)。DOS版本的Sed則一律使用雙引號(hào)("...")而不是
引號(hào)來(lái)圈起命令。
'\t'的用法:為了使本文保持行文簡(jiǎn)潔,我們?cè)谀_本中使用'\t'來(lái)表示一個(gè)制表
符。但是現(xiàn)在大部分版本的sed還不能識(shí)別'\t'的簡(jiǎn)寫方式,因此當(dāng)在命令行中為
腳本輸入制表符時(shí),你應(yīng)該直接按TAB鍵來(lái)輸入制表符而不是輸入'\t'。下列的工
具軟件都支持'\t'做為一個(gè)正則表達(dá)式的字元來(lái)表示制表符:awk、perl、HHsed、
sedmod以及GNU sed v3.02.80。
不同版本的SED:不同的版本間的sed會(huì)有些不同之處,可以想象它們之間在語(yǔ)法上
會(huì)有差異。具體而言,它們中大部分不支持在編輯命令中間使用標(biāo)簽(:name)或分
支命令(b,t),除非是放在那些的末尾。這篇文檔中我們盡量選用了可移植性較高
的語(yǔ)法,以使大多數(shù)版本的sed的用戶都能使用這些腳本。不過(guò)GNU版本的sed允許使
用更簡(jiǎn)潔的語(yǔ)法。想像一下當(dāng)讀者看到一個(gè)很長(zhǎng)的命令時(shí)的心情:
sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d
好消息是GNU sed能讓命令更緊湊:
sed '/AAA/b;/BBB/b;/CCC/b;d' # 甚至可以寫成
sed '/AAA\|BBB\|CCC/b;d'
此外,請(qǐng)注意雖然許多版本的sed接受象“/one/ s/RE1/RE2/”這種在's'前帶有空
格的命令,但這些版本中有些卻不接受這樣的命令:“/one/! s/RE1/RE2/”。這時(shí)
只需要把中間的空格去掉就行了。
速度優(yōu)化:當(dāng)由于某種原因(比如輸入文件較大、處理器或硬盤較慢等)需要提高
命令執(zhí)行速度時(shí),可以考慮在替換命令(“s/.../.../”)前面加上地址表達(dá)式來(lái)
提高速度。舉例來(lái)說(shuō):
sed 's/foo/bar/g' filename # 標(biāo)準(zhǔn)替換命令
sed '/foo/ s/foo/bar/g' filename # 速度更快
sed '/foo/ s//bar/g' filename # 簡(jiǎn)寫形式
當(dāng)只需要顯示文件的前面的部分或需要?jiǎng)h除后面的內(nèi)容時(shí),可以在腳本中使用“q”
命令(退出命令)。在處理大的文件時(shí),這會(huì)節(jié)省大量時(shí)間。因此:
sed -n '45,50p' filename # 顯示第45到50行
sed -n '51q;45,50p' filename # 一樣,但快得多
如果你有其他的單行腳本想與大家分享或者你發(fā)現(xiàn)了本文檔中錯(cuò)誤的地方,請(qǐng)發(fā)電
子郵件給本文檔的作者(Eric Pement)。郵件中請(qǐng)記得提供你所使用的sed版本、
該sed所運(yùn)行的操作系統(tǒng)及對(duì)問(wèn)題的適當(dāng)描述。本文所指的單行腳本指命令行的長(zhǎng)
度在65個(gè)字符或65個(gè)以下的sed腳本〔譯注1〕。本文檔的各種腳本是由以下所列作
者所寫或提供:
Al Aab # 建立了“seders”郵件列表
Edgar Allen # 許多方面
Yiorgos Adamopoulos # 許多方面
Dale Dougherty # 《sed & awk》作者
Carlos Duarte # 《do it with sed》作者
Eric Pement # 本文檔的作者
Ken Pizzini # GNU sed v3.02 的作者
S.G. Ravenhall # 去html標(biāo)簽?zāi)_本
Greg Ubben # 有諸多貢獻(xiàn)并提供了許多幫助
-------------------------------------------------------------------------
譯注1:大部分情況下,sed腳本無(wú)論多長(zhǎng)都能寫成單行的形式(通過(guò)`-e'選項(xiàng)和`;'
號(hào))——只要命令解釋器支持,所以這里說(shuō)的單行腳本除了能寫成一行還對(duì)長(zhǎng)度有
所限制。因?yàn)檫@些單行腳本的意義不在于它們是以單行的形式出現(xiàn)。而是讓用戶能
方便地在命令行中使用這些緊湊的腳本才是其意義所在。