I/O重定向詳解及應(yīng)用實例
1、 基本概念(這是理解后面的知識的前提,請務(wù)必理解)
a、 I/O重定向通常與 FD有關(guān),shell的FD通常為10個,即 0~9;
b、 常用FD有3個,為0(stdin,標(biāo)準(zhǔn)輸入)、1(stdout,標(biāo)準(zhǔn)輸出)、2(stderr,標(biāo)準(zhǔn)錯誤輸出),默認(rèn)與keyboard、monitor、monitor有關(guān);
c、 用 < 來改變讀進(jìn)的數(shù)據(jù)信道(stdin),使之從指定的檔案讀進(jìn);
d、 用 > 來改變送出的數(shù)據(jù)信道(stdout, stderr),使之輸出到指定的檔案;
e、 0 是 < 的默認(rèn)值,因此 < 與 0<是一樣的;同理,> 與 1> 是一樣的;
f、 在IO重定向 中,stdout 與 stderr 的管道會先準(zhǔn)備好,才會從 stdin 讀進(jìn)資料;
g、 管道“|”(pipe line):上一個命令的 stdout 接到下一個命令的 stdin;
h、 tee 命令是在不影響原本 I/O 的情況下,將 stdout 復(fù)制一份到檔案去;
i、 bash(ksh)執(zhí)行命令的過程:分析命令-變量求值-命令替代(``和$( ))-重定向-通配符展開-確定路徑-執(zhí)行命令;
j、 ( ) 將 command group 置于 sub-shell 去執(zhí)行,也稱 nested sub-shell,它有一點非常重要的特性是:繼承父shell的Standard input, output, and error plus any other open file descriptors。
k、 exec 命令:常用來替代當(dāng)前 shell 并重新啟動一個 shell,換句話說,并沒有啟動子 shell。使用這一命令時任何現(xiàn)有環(huán)境都將會被清除。exec 在對文件描述符進(jìn)行操作的時候,也只有在這時,exec 不會覆蓋你當(dāng)前的 shell 環(huán)境。
2、 基本IO
cmd > file 把 stdout 重定向到 file 文件中
cmd >> file 把 stdout 重定向到 file 文件中(追加)
cmd 1> fiel 把 stdout 重定向到 file 文件中
cmd > file 2>&1 把 stdout 和 stderr 一起重定向到 file 文件中
cmd 2> file 把 stderr 重定向到 file 文件中
cmd 2>> file 把 stderr 重定向到 file 文件中(追加)
cmd >> file 2>&1 把 stderr 和 stderr 一起重定向到 file 文件中(追加)
cmd < file >file2 cmd 命令以 file 文件作為 stdin,以 file2 文件作為 stdout
cat <>file 以讀寫的方式打開 file
cmd < file cmd 命令以 file 文件作為 stdin
cmd << delimiter Here document,從 stdin 中讀入,直至遇到 delimiter 分界符
3、 進(jìn)階IO
>&n 使用系統(tǒng)調(diào)用 dup (2) 復(fù)制文件描述符 n 并把結(jié)果用作標(biāo)準(zhǔn)輸出
<&n 標(biāo)準(zhǔn)輸入復(fù)制自文件描述符 n
<&- 關(guān)閉標(biāo)準(zhǔn)輸入(鍵盤)
>&- 關(guān)閉標(biāo)準(zhǔn)輸出
n<&- 表示將 n 號輸入關(guān)閉
n>&- 表示將 n 號輸出關(guān)閉
上述所有形式都可以前導(dǎo)一個數(shù)字,此時建立的文件描述符由這個數(shù)字指定而不是缺省的 0 或 1。如:
... 2>file 運行一個命令并把錯誤輸出(文件描述符 2)定向到 file。
... 2>&1 運行一個命令并把它的標(biāo)準(zhǔn)輸出和輸出合并。(嚴(yán)格的說是通過復(fù)制文件描述符 1 來建立文件描述符 2 ,但效果通常是合并了兩個流。)
我們對 2>&1詳細(xì)說明一下 :2>&1 也就是 FD2=FD1 ,這里并不是說FD2 的值 等于FD1的值,因為 > 是改變送出的數(shù)據(jù)信道,也就是說把 FD2 的 “數(shù)據(jù)輸出通道” 改為 FD1 的 “數(shù)據(jù)輸出通道”。如果僅僅這樣,這個改變好像沒有什么作用,因為 FD2 的默認(rèn)輸出和 FD1的默認(rèn)輸出本來都是 monitor,一樣的!
但是,當(dāng) FD1 是其他文件,甚至是其他 FD 時,這個就具有特殊的用途了。請大家務(wù)必理解這一點。
exec 0exec 1>outfilename # 打開文件outfilename作為stdout
exec 2>errfilename # 打開文件 errfilename作為 stderr
exec 0<&- # 關(guān)閉 FD0
exec 1>&- # 關(guān)閉 FD1
exec 5>&- # 關(guān)閉 FD5
問:
如果關(guān)閉了 FD0、FD1、FD2,其后果是什么?
恢復(fù) FD0、FD1、FD2與 關(guān)閉FD0、FD1、FD2 有什么區(qū)別?代碼分別是什么?
打開了FD3~FD9,我們用完之后,你覺得是將他們關(guān)閉還是恢復(fù)?
下面是提示(例子來源于CU一帖子,忘記出處,來日再補上):
exec 6>&2 2>ver
command >>dev/null &
exec 2>&6 # 恢復(fù) FD2
4、 簡單舉例(其中 you 這個文件是存在的,no和yes這兩個文件不存在)
a、stdout和stderr都通過管道送給egrep了:
(ls you no 2>&1;ls yes 2>&1) 2>&1|egrep \* >file
(ls you no 2>&1;ls yes 2>&1)|egrep \* >file
(ls you no;ls yes) 2>&1|egrep \* >file
###
這個例子要注意的就是:
理解 命令執(zhí)行順序 和 管道“|”:在命令執(zhí)行前,先要進(jìn)行重定向的處理,并將把 nested sub-shell 的stdout 接到 egrep 命令的 stdin。
nested sub-shell ,在 ( ) 中的兩個命令加上(),可以看作一個命令。其 FD1 已經(jīng)連接到“|”往egrep送了,當(dāng)遇到 2>&1時,也就是FD2=FD1,即FD2同F(xiàn)D1一樣,往管道 “|”那邊送。
###
b、沒有任何東西通過管道送給egrep,全部送往monitor。
(ls you no 2>&1;ls yes 2>&1) >&2|egrep \* >file
雖然在()里面將 FD2轉(zhuǎn)往FD1,但在()外,遇到 >&2 ,結(jié)果所有的都送到monitor。
請理解:
(ls you no 2>&1) 1>&2|egrep \* >file ## 送到 monitor
ls you no 2>&1 1>&2|egrep \* >file ## 送給 管道 “|”
ls you no 1>&2 2>&1|egrep \* >file ## 送到 monito
5、 中階例子(其中 you 這個文件是存在的,no和yes這兩個文件不存在)
r2007兄的:http://bbs.chinaunix.net/forum/viewt...313c6922123f67
條件:
stderr通過管道送給egrep,正確消息仍然送給monitor(不變)
exec 4>&1;(ls you no 2>&1 1>&4 4>&-;ls yes 2>&1 1>&4 4>&-)|egrep \* >file;exec 4>&-
或者
exec 4>&1;(ls you no;ls yes) 2>&1 1>&4 4>&-|egrep \* >file;exec 4>&-
r2007 兄在其貼已有詳細(xì)說明,我就不在說明了。
如果加兩個條件:
(1)要求cmd1和cmd2并行運行;
(2)將cmd1的返回值賦給變量 ss。
則為:
exec 3>&1;exec 4>&1
ss=$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)
exec 3>&-;exec 4>&-
說明:
exec 3>&1;4>&1
### 建立FD3,是用來將下面ls那條語句(子shell)中的FD1 恢復(fù)到正常FD1,即輸出到monitor,你可以把FD3看作最初始的FD1的硬盤備份(即輸出到monitor);
### 建立FD4,到時用作保存ls的返回值(echo $?),你可以將FD4看作你考試時用于存放計算“echo $?”的草稿紙;
(ls you no 2>&1 1>&3 3>&-;echo $? >&4)
### 大家還記得前面說的子shell和管道吧。這條命令首先會繼承FD0、FD1、FD2、FD3、FD4,它位于管道前,所以在運行命令前會先把子shell自己的FD1和管道“|”相連。
但是我們的條件是stderr通過管道送往egrep,stdout仍然輸出到monitor。
于是通過2>&1,先把 子shell的FD1 的管道“送給”FD2,于是子shell中的stderr送往管道“|”;
再通過 1>&3,把以前的“硬盤備份”恢復(fù)給子shell的FD1,于是子shell中的FD1變成送到monitor了。
再通過3>&- ,將3關(guān)閉;
接著運行echo $? ,本來其輸出值應(yīng)該送往管道的,通過 >&4 ,將 輸出 送往 “草稿紙”FD4,留以備用。
((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file)
于是,stderr 通過管道送給 egrep ,stdout 送給monitor,但是,還有 FD4,它送到哪去了?
$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)
最后的 4>&1 ,就是把FD4 重定向到 FD1。但由于其輸出在 $( )中,其值就賦給變量ss了。
最后一行關(guān)閉 FD3、FD4。
6、 高階例子
lightspeed 版主大大的:Shell 經(jīng)典問題之 [ I/O 重定向] (http://bbs.chinaunix.net/forum/viewt...ow_type=new)
[Q] 對于命令 cmd1, cmd2, cmd3, cmd4. 如何利用單向管道完成下列功能:
1. 所有命令并行執(zhí)行
2. cmd1 和 cmd2 不需要 stdin
3. cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin
4. cmd1 和 cmd2 的 stderr 定向到
文章出處:http://www.diybl.com/course/3_program/shell/shelljs/2008106/148344.html
cmd4 的 stdin
5. cmd3 的 stdout 定向到文件 a, stderr 定向到屏幕
6. cmd4 的 stdout 定向到文件 b, stderr 定向到屏幕
7. cmd1 的返回碼賦給變量 s
8. 不能利用臨時文件
解決方法:
exec 3>&1; exec 4>&1
s=$(((((cmd1 1>&3 echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 4>&1)
exec 3>&-; exec 4>&-
這個我一步步解釋(好復(fù)雜,自己感覺看明白了,過一會再看,大腦仍然有幾分鐘空白~~~,沒想到我也能看明白):
exec 3>&1; exec 4>&1
### 前面的例子都有說明了,就是建立FD3 ,給cmd1恢復(fù)其FD1用和給cmd3 恢復(fù)其FD2用
### 建立FD4,保存“echo $?”輸出值的“草稿紙”
第一對括號:(cmd1 1>&3 echo $? >&4 ) 和其后(第一個)管道
## 在第一個括號(子shell)中,其FD1已經(jīng)連到 管道中了,所以用 FD3 將 FD1恢復(fù)正常,不讓他往管道跑;
## 這里的cmd1沒有stdin,接著將 cmd1 運行的返回碼 保存到 FD4 中;
第二對括號:((cmd1 1>&3 echo $? >&4 )| cmd2 ) 3>&1 和其后(第二個)管道
## 前面的 FD1 已經(jīng)不送給 cmd2了,F(xiàn)D2 默認(rèn)也不送過來,所以cmd2 也沒有stdin ,所以在第二對括號里面:cmd1和cmd2 的stdout、stderr 為默認(rèn)輸出,一直遇到 “3>&1”為止。
## 請注意:“3>&1”,先將第二對括號看出一個命令,他們遇到 第二個管道時,其FD1 連到 管道 “|”,由于“3>&1”的作用,子shell的FD1 送給FD3 使用,所以所有FD3 的輸出都 “流往”cmd3,又由于繼承關(guān)系(繼承第一行的命令),F(xiàn)D3實際上就是cmd1和cmd2的stdout,于是“ cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin”
第三對括號:(((cmd1 1>&3 echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 和其后的第三個管道
## cmd1 和 cmd2 的 stdout 已經(jīng)定向到 cmd3 的 stdin,處理之后,cmd3 >a 意味著將其 stdout 送給 a 文件。而2>&3的意思是:恢復(fù)cmd3的錯誤輸出為FD3,即送往 monitor。于是“cmd3 的 stdout 定向到文件 a, stderr 定向到屏幕”。
如果沒有“2>&3”,那么cmd3的錯誤輸出就會干擾cmd1和cmd2的錯誤輸出,所以它是必須的!
## 請注意第三對括號后的 “2>&1”| ,其子shell的FD1 本來連接著管道“|”,但子shell FD1 慷慨大方,送給了 FD2,于是FD2 連接著管道。還記得前面的 cmd1 和 cmd2 嗎?他們的stderr一直沒動了。于是在這里,通過管道送給了 第四個命令cmd4 了。即“cmd1 和 cmd2 的 stderr 定向到 cmd4 的 stdin”
## 后面就比較簡單了。cmd4 >b 表示“cmd4 的 stdout 定向到文件 b, stderr 定向到屏幕(默認(rèn))”
第四對括號:((((cmd1 1>&3 echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 與其后的 4>&1
## 四對括號里面的 FD1、FD2都處理完了。但是還記得前面“echo $? >&4”那塊“草稿紙”嗎?“4>&1”的作用就是“將草稿紙上的內(nèi)容送給monitor”,但是由于最外面還有 $() 將其“包著”。于是其值賦給變量“s”。
++++++++++++++++++++++++++++++++++++++++++++
我嘗試回答下面的問題。如有錯誤,還請各位前輩指正!
7、 在一個交互式的(Interactive) shell 中, 用 exec 進(jìn)行 I/O 重定向.
1). Stdin, stderr 可以定向到文件中嗎? 有什么結(jié)果?
a、 在交互式shell中,可以將stdin定向到文件。執(zhí)行:exec 0結(jié)果為:in 文件中每一行均會被自動執(zhí)行,并且在最后會再加執(zhí)行一個 exit 命令,導(dǎo)致退出(或退回到正常shell下)。
如 in 文件內(nèi)容:$ more in
date
read lsp
echo hahha
echo "this is $lsp"
在提示符下執(zhí)行命令:$ exec 0$ date
Tue Jan 18 18:29:07 HKT 2005
$ read lsp # 其下面本應(yīng)有的那句“ echo hahha ”的 “hahaha” 已經(jīng)被讀入到變量 lsp 中了
$ echo "this is $lsp"
this is echo hahha
$ exit
b、 在交互式shell中,可以將stderr定向到文件。執(zhí)行:exec 2>err
結(jié)果為:命令提示符PS被屏蔽,輸入的命令也被屏蔽。但是命令執(zhí)行的結(jié)果,如果是stdout 則會回顯到屏幕上,如果是 stderr 則不會回顯到屏幕上。其中,命令提示符、命令、stderr均會保存到文件 err 中。如:
$ exec 2>err
err in out # 執(zhí)行 ls 命令
Tue Jan 18 18:55:58 HKT 2005 # 執(zhí)行 date 命令,而后執(zhí)行了“ ls nofile”,nofile這個文件不存在
$ # 執(zhí)行 exit 命令
現(xiàn)在讓我們查看 err文件:
$ more err
[lsp@ii lsp]$ ls
[lsp@ii lsp]$ date
[lsp@ii lsp]$ ls nofile
ls: nofile: No such file or directory
[lsp@ii lsp]$ exit
exit
c、 在交互式shell中,可以將stdout定向到文件。這個使我們常用到的。就不說了。就是將錯誤的輸出內(nèi)容定向到文件中。正確的輸出內(nèi)容并不受影響。
2). Stdin, Stderr 可以關(guān)閉嗎? 有什么結(jié)果?
在交互式shell中,如果關(guān)閉stdin,如:exec 0<&- ,其結(jié)果是退出(或退回到正常shell下)。
在交互式shell中,如果關(guān)閉stderr,如:exec 2>&- ,狀態(tài)同stderr定向到文件,唯一不同的是沒有保存下來。
在交互式shell中,如果關(guān)閉stdoutr,如:exec 1>&- ,只要執(zhí)行有stdout或stderr內(nèi)容送往 monitor 的命令,如ls、date這類命令,均會報錯:“ls: write error: Bad file descriptor”。其他如cd、mkdir、……這類命令不受影響。
3). 如果 stdin, stdout, stderr 進(jìn)行了重定向或關(guān)閉, 但沒有保存原來的 FD, 可以將其恢復(fù)到 default 狀態(tài)嗎?
*** 如果關(guān)閉了stdin,因為會導(dǎo)致退出,那肯定不能恢復(fù)。
*** 如果重定向或關(guān)閉 stdout和stderr其中之一,可以恢復(fù),因為他們默認(rèn)均是送往monitor(但不知會否有其他影響)。如恢復(fù)重定向或關(guān)閉的stdout: exec 1>&2 ,恢復(fù)重定向或關(guān)閉的stderr:exec 2>&1。
*** 如果stdout和stderr全部都關(guān)閉了,又沒有保存原來的FD,可以用:exec 1>/dev/tty 恢復(fù)。
+++++++++++++++++++
下面參考了 r2007 兄的回復(fù)!謹(jǐn)以致謝!
+++++++++++++++++++
8、 cmd >a 2>a 和 cmd >a 2>&1 為什么不同?
cmd >a 2>a :stdout和stderr都直接送往文件 a ,a文件會被打開兩遍,由此導(dǎo)致stdout和stderr互相覆蓋。
cmd >a 2>&1 :stdout直接送往文件a ,stderr是繼承了FD1的管道之后,再被送往文件a 。a文件只被打開一遍,就是FD1將其打開。
我想:他們的不同點在于:
cmd >a 2>a 相當(dāng)于使用了兩個互相競爭使用文件a的管道;
而cmd >a 2>&1 只使用了一個管道,但在其源頭已經(jīng)包括了stdout和stderr。
從IO效率上來講,cmd >a 2>&1的效率應(yīng)該更高!
文章出處:http://www.diybl.com/course/3_program/shell/shelljs/2008106/148344_2.html