Posted on 2008-12-24 15:02
Prayer 閱讀(1138)
評論(0) 編輯 收藏 引用 所屬分類:
Shell
=============================================================================
該篇是linux shell編程第一、二、三、四、五、六、高級一、二、三、四章的合集
==============================================================================
一、 變量和運算符
1.set命令 可以查看和設置本地變量
2.readonly 查看本地只讀變量
readonly variable-name 設置變量為只讀變量
3.環境變量的設置在$HOME/.bash_profile (/etc/profile)中
4.export variable-name=value 設置變量為環境變量
5.env 查看所有環境變量
6.變量替換：
${var-name}顯示實際值到var-name
${var-name:+value}如果設置了var-name,則顯示其值為value，否則為空
${var-nmae:?value}如果未設置var-name,顯示用戶定義錯誤信息value
${var-name:-value}如果未設置var-name,顯示其值為value
${var-nmae:=value}如果未設置var-name,設置其值，并顯示
7.unset 取消變量
8.位置變量
$0 $1 $2 $3 $4
腳本名 第一個參數 A 第二個參數 B 。。。。C 。。。。D
注意：$10是表示第一個參數后面加上“0”，第10個參數可以通過shift命令得到
可用shift 或者shift[n]來表示左移參數的位置
shift與shift[1]相同，都是左移一個位置（從$1開始算，$0-腳本名是不會邊的），如上圖則$1的 值 為 B，$2的值為C......
$# 參數的個數（$0不算在內）
$* 和 $@ 都是列出全部參數，下面舉例說明它們的差異：
比如在命令行中輸入 ./test.sh A "B C" D
則 $*和$@都為 A B C D
但是如果用了軟引用之后：
"$@"可得到 "A" "BC" "D"三個字段
而"$*"則得到"A B C D"一個字段
9.標準變量（大部分都是環境變量）：
EXINIT：保存使用vi初始化選項，如EXINIT='set nu tab=4';exprot EXINIT
IFS：域分隔符，默認是空格，可改邊IFS=: 或 IFS=':'
HOME:主目錄
LOGNAME：登錄名
MAILCHECK：每隔多長時間檢查是否有郵件
MAILPATH：用于多個郵箱時查看MAIL存儲在哪幾個文件中
TERM：終端類型
PATH：指定了當用戶輸入命令時linux搜索程序的目錄由冒號：分隔，shell將按PATH中給出的順序搜 索這些目錄。找到的第一個與命令名稱一致的可執行文件將被執行
TZ：時區
PS1：主提示符，其缺省值 '[\u@\h \w]\$ '
u:用戶 h:主機名 w:當前的目錄。最后的"$"是普通用戶的提示符，特權用戶是"#"
PS2:輔助提示符，一行中若需用多個命令時的提示符，缺省是">"，如果用戶在行末輸入"\"，然后 回車， 則會有改符號出現。
PWD：當前運行的進程號
$$:當前運行的進程號
$!后臺運行的最后一個進程的ID
$- 顯示shell使用的當前選項，與set相同
$? 顯示最后命令的退出狀態，0表示沒有錯誤，其他表示錯誤。
10.影響變量的命令
（1）declare 設置或者顯示變量
-f 只顯示函數名
-r 創建只讀變量
-x 創建轉出變量
-i 創建整數變量
用+代替-可以顛倒選項的含義（r不能顛倒）
（2）export 創建傳給子shell的變量(創建環境變量)
--表明選項結束，所有的后續參數都是實參
-f表明在“名-值”對中的名字是函數名
-n把全局變量轉換成局部變量，命令的變量不再傳給子shell
-p顯示全局變量列表
(3)readonly 用于顯示或者設置只讀變量
--表明選項結束
-f創建只讀變量
(4)typeset 用于顯示或設置變量，是declare的同義詞
（5）unset 取消變量的定義
--表明選項結束
-f刪除只讀變量（但不能取消從shell環境中刪除指定的變量和函數，如PATH，PS1，PDID，EUID，PID，UID等）
11.雙引號：
使用雙引號可引用除字符$,`,\ 外的任意字符和字符串
12.單引號：
單引號與雙引號不同的是shell會忽略任何引用值。換句話來說，如果屏蔽了其特殊含義，會將引號里所 有的字符，包括引號作為一個字符串
13.反引號：
設置系統命令的輸出到變量。shell將反引號里的命令的內容作為一個系統命令并執行其內容
14.反斜杠：
如果一個字符有特殊的意義，反斜杠可以屏蔽其含義，有特殊含義的字符有：& * + ^ $ ` " | ?
15.運算符：
按位運算符有：~ ,<<,>>,^>|,&
$[ ]表示對方括號中的表達式求值 $[ 2+8 ].(注意[]內左右都必須留空格)
$[ 2#111+1 ]=8 表示二進制的1111+1
運算符的優先級
以下級別高的優先級高
13級：+,- (正負)
12級：!,~ (邏輯非，按位取反)
11級：*,/,% （乘，除，取摸）
10級：+,- (加減)
9級:<<,>>按位左移動，右移
8級：<=,>=,<,> （小于等于，大于等于，小于，大于）
7級：==,!= （等于，不等于）
6級：& 按位與
5級：^ 按位異或
4級 | 按位或
3級&& 邏輯與
2級 || 邏輯或
1級=,+=,-=,*=,/=,%=,|=,<<=,>>=
二、Shell輸入與輸出
1.echo 命令可以顯示文本行或者變量，或者把字符串輸入到文件
echo [option] string
-e 解析轉義字符，
轉義符包括(
\c,回車不換行
\f,禁止
\t,跳格
\n)回車換行
-n 回車不換行，linux系統默認回車換行
2.read 從鍵盤或者文件的某一行文本中讀如信息，并將其賦給一個變量
read varible1 varible2
如果只指定了一個變量，那么read將會把所有的輸入賦給該變量，直到遇到第一個文件結束符或回車；如果給出了多個變量，它們按吮吸分別賦給不同的變量，。shell將用空格作為變量之間的分隔符
舉例說明：在shell腳本中有read A B C命令行，而在提示的命令行中輸入1 2 3，則A=1，B=2，C=3
3.cat 可以用來顯示文件內容、創建文件，還可以用它來顯示控制字符。
cat |options|filename1..filename2...
-v顯示控制字符
使用cat命令時要注意，它不會在文件分頁符處停下來，它會一下顯示完整個文件。如果希望每次顯示一頁，可以使用more命令或者把cat命令的輸出通過管道傳遞給另外一個具有分頁功能的命令(如more,less)中。
cat命令舉例：
cat myfile1 myfile2 myfile3>myfile123;
cat myfile123|more 分頁顯示
cat -v dos.txt 會出現“^M”等控制字符，這是在windows下的編輯器留下的
4.管道 可以通過管道把一個命令的輸出作為另一個命令的輸入
舉例說明：df -k |awk '{print $1}'|grep -v "Filesystem"
df：顯示所有文件系統對i節點和磁盤塊的使用情況
awk:瀏覽和抽取信息
grep：文本過濾
顯示所有文件系統對i接點和磁盤塊的使用情況信息中的第一列并不含有"Filesystem"的信息
5.tee ： 把輸出的一個副本輸送到標準輸出，另一個副本拷貝到相應的文件中
tee -a file 這個命令一般用于管道之后。
舉例說明：
cat file|tee file.out 將file中的信息輸出到屏幕并拷貝到file.out中
6.exec ： exec命令可以用來代替當前shell；換句話說，并沒有啟動子shell，使用這一命令時任何現有環境都會 被清除，并重新啟動一個shell
exec command其中的command通常是一個shell腳本
對文件描述符操作的時候（也只有在這時），它不會覆蓋你當前的shell
舉例說明：
exec **.sh 會重新登錄并清除環境變量
7.標準輸入、輸出和錯誤
在shell中執行命令時，每個進程都和三個打開的文件相聯系，并使用文件描述符來引用這些文件。由于文件描述符不容易記憶，shell同時也給出了相應的文件名。
文件 文件描述符
輸入文件----標準輸入 0（缺省是鍵盤，也可以是文件或者其他命令的輸出）
輸出文件---標準輸出 1（缺省是屏幕，也可以是文件）
錯誤輸出文件--標準錯誤 2（缺省是屏幕，也可以是文件）
系統中實際有12個文件描述符，可以任意使用文件描述符3-9
8.文件重定向 改變程序運行的輸入來源或輸出地點
command > filename 把把標準輸出重定向到一個新文件中
command >> filename 把把標準輸出重定向到一個文件中(追加)
command 1 > fielname 把把標準輸出重定向到一個文件中
command > filename 2>&1 把把標準輸出和標準錯誤一起重定向到一個文件中
command 2 > filename 把把標準錯誤重定向到一個文件中
command 2 >> filename 把把標準輸出重定向到一個文件中(追加)
command >> filename 2>&1 把把標準輸出和標準錯誤一起重定向到一個文件中(追加)
command < filename >filename2 把command命令以filename文件作為標準輸入，以filename2文件作為標準輸出
command < filename 把command命令以filename文件作為標準輸入
command << delimiter 把從標準輸入中讀入，直至遇到delimiter分界符
command <&m 把把文件描述符m作為標準輸入
command >&m 把把標準輸出重定向到文件描述符m中
command <&- 把關閉標準輸入
重定向的幾個注意點：
重定向中為保護原來的文件不被覆蓋可以用 set -o noclobber 命令來限制
用 set +o noclobber來取消限制，如果不取消的話也可以強制重定向
command >| file
cat <file>file 會清空file中的內容，因為shell會先清空stdout和stderr的管道。
cat <file>>file會造成死循環，因為它是一行行讀出來的，永遠都沒有結束符
9.合并標準輸出和標準錯誤
合并標準輸出和標準錯誤的時候，切記shell是用左至右分析相應的命令
舉例說明：
grep "hi" test.txt >test.out 2>&1 標準輸出和錯誤輸出都輸入到標準輸出中
10.使用文件描述符
舉例說明：
exec 3<&0 0<name.txt //設置3為標準輸入 name.txt的內容輸入到標準輸入
此時的exec不會清除環境變量，也不會重新登錄，覆蓋當前的sehll
三、流控制結構
1.if then else 語句
if 條件1 #如果條件1為真
then #那么
command1 #執行命令1
elif 條件2 # 如果條件2為真
then #那么
command2 # 執行命令2
else #如果條件1和條件2都不成立
command3 執行命令3
fi #完成（if 語句一定要以fi結束）
舉例說明：
if [ "13" -lt "11"] #如果13小于11
then #那么
echo "13<11" #輸出"13<11"
elif["13" -lt "12"] #如果13小于12
then # 那么
echo "13<12" #輸出"13<12"
else #否則
echo "13>=12" #輸出"13>=12"
2.case語句
case 值 in
模式1） #如果模式1匹配
命令1 #執行命令1
；；
模式2） #如果模式2匹配
命令2 #執行命令2
;;
*） #如果以上模式都不匹配
命令3 #執行命令3
;;
esac #結束case語句
case取值后面必須為單詞in，每一模式必須以右括號結束。取值可以為變量或常數。匹配發現取值符合某一模式后，其間所有命令開始執行直至；；。模式匹配符號*表示匹配任意字符。[。。]表示類或者范圍中的任意字符。
舉例說明：
case $A in
1) #如果A的值為1
echo "A =1" #輸出“A=1”
;;
2) #如果A的值為2
echo "A=2" #輸出“A=2”
;;
[34]) #如果A的值為3或4
echo "A=3|4" #輸出“A=3|4”
;;
esac #結束
3.for循環
for 變量名 in 列表
do
命令1
命令2
done
當變量值在列表里，for 循環即執行一次所有命令，使用變量名訪問列表取值。命令可為任何有效的shell命令和語句。變量名為任何單詞。in列表用法是可選的，如果不用它，for循環使用命令行的位置參數。in列表可以包含替換，字符串和文件名
舉例說明：
for loop in 1 2 3 4 5 #在1 2 3 4 5列表中循環（5次）
do #開始執行命令
echo "hello" #執行命令
done #完成
for loop in "one two three" #當成一個元素只循環一次
do
echo $loop
done #輸出 one two three 一行
for loop in one two three #三次循環
do
echo $loop
done
#輸出 one
two
three
列表可以是文件，如：for loop in `cat myfile`
4.until循環
until 條件
do
命令1
命令2
done
條件可為任何測試條件，若剛開始條件就為真，則不執行循環。
5.while循環
while 命令
do
命令1
命令2
......
done
舉例說明：while read LINE <myfile #每次讀取myfile 中的一行
do
echo $LINE #輸出每行的信息
done
6.break控制
break [n] #跳出n層循環
舉例說明：
for loop in 1 2 3
done
echo ${loop}
for loop in one two three
do
echo ${loop}
//break /break 2 /continue #這三個命令替換測試
echo ${loop}+
done
done
若為break,則輸出 1 one 2 one 3 one
若為break 2 則輸出 1 one
若為continue 則輸出1 one two three 2 one two three 3 one two three (每次輸出都有換行)注意:echo ${loop}+沒有執行
7.continue控制
強制進入下一次循環 如上例子
四、文本過濾
1.正則表達式
（1）正則表達式一般用來描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（稱為元字符，如/、*、?等）組成。
（2）基本元字符集及其含義
^ ：只匹配行首。 如^a 匹配以a開頭的行abc,a2e,a12,aaa,......
$ ：只匹配行尾。 如^a 匹配以a結尾的行bca,12a,aaa,.......
* ：匹配0個或多個此單字符。 如(a)* 匹配 空，a,aa,aaa,....
[] ：只匹配[]內字符。可以是一個單字符，也可以是字符序列，用","將里面要匹配的不同字符串分開。也可以使用-來表示[]內字符序列的范圍，如[1-5]表示[12345]
\ ：只用來屏蔽一個元字符的特殊含義。 如\*,\',\",\|,\+,\^,\. 等
。：（點）只匹配任意單字符。
pattern\{n\}：只用來匹配前面pattern出現的次數.n為次數。如a\{2\}匹配aa.
pattern\{n,\}：含義同上，但次數最少為n.如a\{2,\}匹配aa,aaa,aaaa,.....
pattern\{n,m\}：含義同上，但次數在n和m之間。如a\{2,4\}匹配aa,aaa,aaaa三個
(3)舉例說明：
^$ ：匹配空行
^.$ ：匹配包含一個字符的行
\*\.pas ：匹配以*.pas結尾的所有字符或文件
[0123456789]或[0-9] ：假定要匹配任意一個數字
[a-z] ：任意小寫字母
[A-Za-z] ：任意大小寫字母
[S,s] ：匹配大小寫S
[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\} ：匹配IP地址 [0-9]\{3\}三個0-9組成的字符串；\. ：匹配點（注意這里點是特殊的字符，所以要用"\"來屏蔽其含義）
2.find介紹
（1）查找具有某些特征文件的命令，可遍歷當前目錄甚至于整個文件系統來查看某些文件或目錄，其遍歷大的文件系統時一般放在后臺執行。
（2）find命令的一般形式
find pathname -options [-print -exec -ok]
-pathname :find命令所查找的目錄路徑。如用"."來表示當前的目錄，用/來表示系統根目錄
-print :find命令將匹配的文件輸出到標準輸出
-exec: find命令對匹配的文件執行該參數所給出的shell命令，相應的命令形式為
'command'{} \; (注意{}和\之間的空格)
-ok 和 -exec的作用相同，只不過以一種更為安全的模式來執行該參數所給出的shell命令，在執行每一個命令之前，都會給出提示，讓用戶來確定是否執行。
options有如下幾種：
-name ：按照文件名查找文件
-perm ：按照文件權限來查找文件
-user ：按照文件屬主來查找文件
-group ：按照文件所屬的組來查找文件
-mtime -n +n 按照文件的更改時間來查找文件，-n表示文件更改時間距現在n天以內，+n表示文件更改時間距現在n天以前。find命令還有-atime 和-ctime選項，但它們都和-mtime選項相似。
-size n[c]查找文件長度為n塊的文件，帶有c時表示文件長度以字節計。
-nogroup 查找無有效所屬組的文件，即該文件所屬的組在/etc/groups中不存在
-newer file1 !file2查找更改時間比文件file1新但比文件file2舊的文件
-depth 先查找指定目錄有無匹配文件，若無則再在子目錄中查找
-type 查找某一類型的文件，如
b :塊設備文件
d：目錄
e：字符設備文件
p；管道文件
l：符號鏈接文件
f：普通文件
（3）find命令舉例
find -name "*.txt" -print 查找txt結尾的文件并輸出到屏幕上
find /cmd ".sh" -print 查找/cmd目錄下所有sh文件，并輸出
find . -perm 755 -print 查找當前目錄下權限為755的文件，并輸出
find `pwd` -user root -print 查找當前目錄下屬主為root的文件，并輸出
find ./ -group sunwill -print 查找當前目錄下所屬主是sunwill的文件
find /var -mtime -5 -print 查找/var目錄下更改時間為5天內的所有文件
find /var -mtime +5 -print 查找/var目錄下更改時間為5天以前的所有文件
find /var -newer "myfile1" ! -newer "myfile2" -print 查找/var目錄下比myfile1新，但是比myfile2舊的所有文件。
find /var -type d -print 查找/var目錄下所有目錄
find /var -type l -print 查找/var目錄下所有的符號鏈接文件。
find . -size +1000000c -print 查找當前目錄下大于1000000字節的文件
find / -name "con.file" -depth -print 查找根目錄下有無"con.file",若無則在其子目錄中查找
find . -type f -exec ls -l {} \; 查找當前目錄下是否有普通文件，若有則執行ls -l
（4）xargs命令
在使用find命令的-exec選項處理匹配到的文件時，find命令將所有匹配到的文件一起傳遞給exec。不幸的是，有些系統對能夠傳遞給exec的命令長度有限制，這樣find命令運行幾分鐘之后就算出現溢出錯誤。錯誤信息通常是“參數列太長”或“參數列溢出”。這就是xargs的用處所在，特別是與find命令一起使用,exec會發起多個進程，而xargs會多個，只有一個
find ./ -perm -7 -print | xargs chmod o-w 查找權限為7的文件并傳遞給chmod處理
3.grep介紹
(1)grep 的一般格式為 grep [options] 基本正則表達式 [文件]
字符串參數最好采用是雙引號括，一是以防被誤解為shell命令，二是可以用來查找多個單詞組成的字符串
-c：只輸出匹配行的記數
-i：不區分大小寫（只適用于單個字符）
-h：查詢多個文件時不顯示文件名
-H：只顯示文件名
-l：查詢多文件時只輸出包含匹配字符的文件名
-n：只顯示匹配行及其行號
-s：不顯示不存在或無匹配文本的錯誤信息。
-v：顯示不包含匹配文本的所有行。
（2）舉例說明：
grep ^[^210] myfile 匹配myfile中以非2、1、0開頭的行
grep "[5-8][6-9][0-3]" myfile 匹配myfile中第一位為5|6|7|8，第二位6|7|8|9，第三位為0|1|2|3的三個字符的行
grep "4\{2,4\}" myfile 匹配myfile中含有44,444或4444的行
grep "\?" myfile匹配myfile中含有任意字符的行
（3）grep命令類名
[[:upper:]] 表示[A-Z]
[[:alnum:]] 表示[0-9a-zA-Z]
[[:lower:]] 表示[a-z]
[[:space:]] 表示空格或者tab鍵
[[:digit:]] 表示[0-9]
[[:alpha:]] 表示[a-zA-Z]
如：grep "5[[:digit:]][[:digit:]]" myfile 匹配myfile中含有5開頭接下去兩位都是數字的行。
4.awk介紹
可以從文件或字符串中基于指定規則瀏覽和抽取信息，是一種自解釋的變成語言。
（1）awk命令行方式 awk [-F filed-spearator] 'command' input-files
awk腳本：所有awk命令插入一個文件，并使awk程序可執行，然后用awk命令解釋器作為腳本的首行，以便通過鍵入腳本名稱來調用它。awk腳本是由各種操作和模式組成。
模式部分決定動作語句何時觸發及觸發事件。（BEGIN,END）
動作對數據進行處理，放在{}內指明（print）
（2）分隔符、域和記錄
awk執行時，其瀏覽域標記為$1,$2,...$n.這種方法成為域標識。$0為所有域。
（3）舉例說明:
awk '{print $0}' test.txt |tee test.out 輸出test.txt中所有行$0表示所有域
awk -F : '{print $1} test.txt |tee test.out' 同上。。只是分隔符為":"
awk 'BEGIN {print "IPDate\n"}{print $1 "\t" $4} END{print "end-of-report"}' test.txt
開始時打印“IPDate”結束時打印“end-of-report”中間打印主體信息，比如總共匹配三條信息，則輸出如下：
IPDate
1 first
2 second
3 third
end-of-report
（4）匹配操作符 ~ 匹配,!~ 不匹配
cat test.txt |awk '$0~/210.34.0.13/' 匹配test.txt中為210.34.0.13的行
awk '$0!~/210.34.0.13' test.txt 匹配test.txt中不是210.34.0.13的行
awk '{if($1=="210.34.0.13") print $0}' test.txt 匹配 test.txt中第一個域為210.34.0.13的行。
5.sed介紹
sed不與初始化文件打交道，它操作的只是一個拷貝，然后所有的改動如果沒有重定向到一個文件，將輸出到屏幕。
sed是一種很重要的文本過濾工具，使用一行命令或者使用管道與grep與awk相結合。是一種非交互性文本流編輯。
（1）調用sed的三種方式
使用sed命令行格式為：sed [options] sed命令 輸入文件
使用sed腳本文件格式為：sed[options] -f sed腳本文件 輸入文件
sed腳本文件[options] 輸入文件
--不管是使用shell命令行方式或腳本文件方式，如果沒有指定輸入文件，sed從標準輸入中接受輸入，一般是鍵盤或重定向結果。
（2）sed 命令的options如下
-n：不打印
-c：下一命令是編輯命令
-f：如果正在調用sed腳本文件
（3）sed在文件中查詢文本的方式
--使用行號，可以是一個簡單的數字，或是一個行號的范圍
--使用正則表達式
（4）讀取文本的方式
x x為一行號
x,y 表示行號范圍從x到y
/pattern/ 查詢包含模式的行
/pattern/pattern/ 查詢包含兩個模式的行
pattern/,x 在給定的行號上查詢包含模式的行
x,/pattern/ 通過行號和模式查詢匹配行
x,y! 查詢不包含指定行號x和y的行
（5）基本sed編輯命令
p 打印匹配行
d 刪除匹配行
= 顯示文件行號
a\ 在定位行號后附加新文本信息
i\ 在定位行號后插入新文本信息
c\ 用新文本替換定位文本
s 使用替換模式替換相應模式
r 從另一個文件中讀文件
w 寫文本到一個文件
q 第一個模式匹配完成后推出或立即退出
l 顯示與八禁止ASCII代碼等價的控制字符
{} 在定位行執行的命令組
n 從另一個文件中讀文本下一行，并附加在下一行
g 將模式2粘貼到/pattern n/
y 傳送字符
（6）舉例說明：
sed -n '2p' test.txt 打印第二行的信息(注意：-n是不打印不匹配的信息，若沒加-n，則打印文件的所有信息而不是匹配信息)
sed -n '1,4p' test.txt 打印第一行到第四行的信息
sed -n '/los/p' test.txt模式匹配los，并打印出來
sed -n '2,/los/p' test.txt 從第二行開始。。知道匹配第一個los
sed -n '/^$/p' test.txt 匹配空行
sed -n -e '/^$/p' -e '/^$/=' test.txt 打印空行及行號
sed -n '/good/a\morning' test.txt 在匹配到的good后面附加morning
sed -n '/good/i\morning' test.txt 在匹配到的good前面插入morning
sed -n '/good/c\morning' test.txt 將匹配到的good替換成morning
sed '1,2d' test.txt 刪除第1和2行
sed 's/good/good morning/g' test.txt 匹配good并替換成goodmorning
send 's/good/& hello /p' test.txt 匹配到good就在其后面加上hello
send 's/good/ hello &/p' test.txt 匹配到good就在其前面加上hello
6.合并與分割（sort,uniq,join,cut,paste,split）
(1)sot命令
sort [options] files 許多不同的域按不同的列順序分類
-c 測試文件是否已經分類
-m 合并兩個分類文件
-u 刪除所有復制行
-o 存儲sort結果的輸出文件名
-t 域分隔符，用非空格或tab開始分類
+n ：n 為域號，使用此域號開始分類
-n 指定分類是域上的數字分類項
-r 比較求逆
sort -c test.txt 測試文件是否分類過
sort -u test.txt 排序并合并一樣的行
sort -r test.txt 以相反的順序排列
sort -t "/" +2 test.txt 以"/"分隔，第二個域開始分類
（2）uniq命令
uniq [options ] files 從一個文本文件中去除或禁止重復行
-u 只顯示不重復行
-d 只顯示有重復數據行，每種重復行只顯示其中一行
-c 打印每一重復行出現次數
-f ：n為數字，前n個域被忽略
uniq -f 2 test.txt 忽略前2個域
（3）join 命令
join [options] file1 file2 用來將來自兩個分類文本文件的行連在一起
-an，n為一數字，用于連接時從文件n中顯示不匹配行
-onm ，連接域，n為文件號，m為域號
-jnm，n為文件號，m為域號，使用其他域作連接域
-t ，域分隔符。用來設置非空格或tab鍵的域分隔符。
（4）split命令
split -output_file_size intput_filename output_filename
用來將大文件分割成小文件。
-b n，每個分割文件的大小n
-C n，每個分割文件一行最多n字節
-l n，每個分割文件的行數
-n，同-l n
split -10 test.txt 將test.txt分割成10行的小文件
（5）cut 命令
cut -c n1-n2 filename 顯示每行從開頭算起 n1 到 n2 的文字。
cut -c 3-5 test.txt 顯示test.txt中每行從第3到第5個字符
五、Shell函數
1.函數定義
shell允許將一組命令集或語句形成一個可用塊，這些塊稱為shell函數
定義函數的格式：
function-name (){
command1
........
}
或 function function-name(){ #函數名前面多了個function關鍵字
command1
........
}
2.函數調用
以下是一個函數的腳本實例：
#!/bin/bash
#hello
function hello(){ #聲明函數
echo "Hello!" #函數的主體，輸出"Hello!"
} #函數結束
hello #調用函數
3.參數傳遞
向函數傳遞參數就像在腳本是使用變量位置$1,$2,$3...$9
以下是一個傳遞參數的實例：
#!/bin/bash
#hellofun
function hello(){
echo "Hello! The first parameter is '$1'."
}
hello good
#該腳本執行的結果是: Hello! The first parameter is 'good'.
4.函數文件
保存函數的文件，用以上的例子寫成一個函數文件如下：
#!/bin/bash
#hellofunction
function hello(){
echo "Hello!"
return 1
}
上面的hellofunction文件就是一個函數文件，可通過另一個腳本來調用
#!/bin/bash
#hellof
. hellofunction #注意點和hellofunction之間有個空格
hello
5.載入和刪除
用set查看已載入的函數
用unset function-name 取消載入
舉例如下：
#!/bin/bash
#hellof
. hellofunction
unset
hello #因為已經取消載入。。所以會出錯
6.函數返回狀態
#!/bin/bash
#hellofun
function hello(){
echo "Hello! The first parameter is '$1'."
}
hello
echo $? #輸出返回的狀態值（一般成功是返回0，其它值為失敗）