[轉(zhuǎn)] 最通俗淺顯的“IO模式”解析
[源] ：http://hi.baidu.com/firebird/blog/item/f592b3193a02814542a9adeb.html
一：select模型
二：WSAAsyncSelect模型
三：WSAEventSelect模型
四：Overlapped I/O 事件通知模型
五：Overlapped I/O 完成例程模型
六：IOCP模型
原文名：《基于Delphi的Socket I/O模型全接觸 》
老陳有一個在外地工作的女兒，不能經(jīng)常回來，老陳和她通過信件聯(lián)系。他們的信會被郵遞員投遞到他們的信箱里。
這和Socket模型非常類似。下面我就以老陳接收信件為例講解Socket I/O模型。
一：select模型
老陳非常想看到女兒的信。以至于他每隔10分鐘就下樓檢查信箱，看是否有女兒的信，在這種情況下，“下樓檢查信箱”然后回到樓上耽誤了老陳太多的時間，以至于老陳無法做其他工作。
select模型和老陳的這種情況非常相似：周而復(fù)始地去檢查......如果有數(shù)據(jù)......接收/發(fā)送.......
使用線程來select應(yīng)該是通用的做法：
procedure TListenThread.Execute;
var
addr : TSockAddrIn;
fd_read : TFDSet;
timeout : TTimeVal;
ASock,
MainSock : TSocket;
len, i : Integer;
begin
MainSock := socket( AF_INET, SOCK_STREAM, IPPROTO_TCP );
addr.sin_family := AF_INET;
addr.sin_port := htons(5678);
addr.sin_addr.S_addr := htonl(INADDR_ANY);
bind( MainSock, @addr, sizeof(addr) );
listen( MainSock, 5 );
while (not Terminated) do
begin
FD_ZERO( fd_read );
FD_SET( MainSock, fd_read );
timeout.tv_sec := 0;
timeout.tv_usec := 500;
if select( 0, @fd_read, nil, nil, @timeout ) > 0 then //至少有1個等待Accept的connection
begin
if FD_ISSET( MainSock, fd_read ) then
begin
for i:=0 to fd_read.fd_count-1 do //注意，fd_count <= 64，
也就是說select只能同時管理最多64個連接
begin
len := sizeof(addr);
ASock := accept( MainSock, addr, len );
if ASock <> INVALID_SOCKET then
....//為ASock創(chuàng)建一個新的線程，在新的線程中再不停地select
end;
end;
end;
end; //while (not self.Terminated)
shutdown( MainSock, SD_BOTH );
closesocket( MainSock );
end;
二：WSAAsyncSelect模型
后來，老陳使用了微軟公司的新式信箱。這種信箱非常先進，一旦信箱里有新的信件，蓋茨就會給老陳打電話：喂，大爺，你有新的信件了！從此，老陳再也不必頻繁上下樓檢查信箱了，牙也不疼了，你瞅準(zhǔn)了，藍天......不是，微軟......
微軟提供的WSAAsyncSelect模型就是這個意思。
WSAAsyncSelect模型是Windows下最簡單易用的一種Socket I/O模型。使用這種模型時，Windows會把網(wǎng)絡(luò)事件以消息的形勢通知應(yīng)用程序。
首先定義一個消息標(biāo)示常量：
const WM_SOCKET = WM_USER + 55;
再在主Form的private域添加一個處理此消息的函數(shù)聲明：
private
procedure WMSocket(var Msg: TMessage); message WM_SOCKET;
然后就可以使用WSAAsyncSelect了：
var
addr : TSockAddr;
sock : TSocket;
sock := socket( AF_INET, SOCK_STREAM, IPPROTO_TCP );
addr.sin_family := AF_INET;
addr.sin_port := htons(5678);
addr.sin_addr.S_addr := htonl(INADDR_ANY);
bind( m_sock, @addr, sizeof(SOCKADDR) );
WSAAsyncSelect( m_sock, Handle, WM_SOCKET, FD_ACCEPT or FD_CLOSE );
listen( m_sock, 5 );
....
應(yīng)用程序可以對收到WM_SOCKET消息進行分析，判斷是哪一個socket產(chǎn)生了網(wǎng)絡(luò)事件以及事件類型：
procedure TfmMain.WMSocket(var Msg: TMessage);
var
sock : TSocket;
addr : TSockAddrIn;
addrlen : Integer;
buf : Array [0..4095] of Char;
begin
//Msg的WParam是產(chǎn)生了網(wǎng)絡(luò)事件的socket句柄，LParam則包含了事件類型
case WSAGetSelectEvent( Msg.LParam ) of
FD_ACCEPT :
begin
addrlen := sizeof(addr);
sock := accept( Msg.WParam, addr, addrlen );
if sock <> INVALID_SOCKET then
WSAAsyncSelect( sock, Handle, WM_SOCKET, FD_READ or FD_WRITE or FD_CLOSE );
end;
FD_CLOSE : closesocket( Msg.WParam );
FD_READ : recv( Msg.WParam, buf[0], 4096, 0 );
FD_WRITE : ;
end;
end;
三：WSAEventSelect模型
后來，微軟的信箱非常暢銷，購買微軟信箱的人以百萬計數(shù)......以至于蓋茨每天24小時給客戶打電話，累得腰酸背痛，喝蟻力神都不好使。微軟改進了他們的信箱：在客戶的家中添加一個附加裝置，這個裝置會監(jiān)視客戶的信箱，每當(dāng)新的信件來臨，此裝置會發(fā)出“新信件到達”聲，提醒老陳去收信。蓋茨終于可以睡覺了。
同樣要使用線程：
procedure TListenThread.Execute;
var
hEvent : WSAEvent;
ret : Integer;
ne : TWSANetworkEvents;
sock : TSocket;
adr : TSockAddrIn;
sMsg : String;
Index,
EventTotal : DWORD;
EventArray : Array [0..WSA_MAXIMUM_WAIT_EVENTS-1] of WSAEVENT;
begin
...socket...bind...
hEvent := WSACreateEvent();
WSAEventSelect( ListenSock, hEvent, FD_ACCEPT or FD_CLOSE );
...listen...
while ( not Terminated ) do
begin
Index := WSAWaitForMultipleEvents( EventTotal, @EventArray[0], FALSE,
WSA_INFINITE, FALSE );
FillChar( ne, sizeof(ne), 0 );
WSAEnumNetworkEvents( SockArray[Index-WSA_WAIT_EVENT_0],
EventArray
[Index-WSA_WAIT_EVENT_0], @ne );
if ( ne.lNetworkEvents and FD_ACCEPT ) > 0 then
begin
if ne.iErrorCode[FD_ACCEPT_BIT] <> 0 then
continue;
ret := sizeof(adr);
sock := accept( SockArray[Index-WSA_WAIT_EVENT_0], adr, ret );
if EventTotal > WSA_MAXIMUM_WAIT_EVENTS-1 then
//這里WSA_MAXIMUM_WAIT_EVENTS同樣是64
begin
closesocket( sock );
continue;
end;
hEvent := WSACreateEvent();
WSAEventSelect( sock, hEvent, FD_READ or FD_WRITE or FD_CLOSE );
SockArray[EventTotal] := sock;
EventArray[EventTotal] := hEvent;
Inc( EventTotal );
end;
if ( ne.lNetworkEvents and FD_READ ) > 0 then
begin
if ne.iErrorCode[FD_READ_BIT] <> 0 then
continue;
FillChar( RecvBuf[0], PACK_SIZE_RECEIVE, 0 );
ret := recv( SockArray[Index-WSA_WAIT_EVENT_0], RecvBuf[0],
PACK_SIZE_RECEIVE, 0 );
......
end;
end;
end;
四：Overlapped I/O 事件通知模型
后來，微軟通過調(diào)查發(fā)現(xiàn)，老陳不喜歡上下樓收發(fā)信件，因為上下樓其實很浪費時間。于是微軟再次改進他們的信箱。新式的信箱采用了更為先進的技術(shù)，只要用戶告訴微軟自己的家在幾樓幾號，新式信箱會把信件直接傳送到用戶的家中，然后告訴用戶，你的信件已經(jīng)放到你的家中了！老陳很高興，因為他不必再親自收發(fā)信件了！
Overlapped I/O 事件通知模型和WSAEventSelect模型在實現(xiàn)上非常相似，主要區(qū)別在"Overlapped”，Overlapped模型是讓應(yīng)用程序使用重疊數(shù)據(jù)結(jié)構(gòu)(WSAOVERLAPPED)，一次投遞一個或多個Winsock I/O請求。這些提交的請求完成后，應(yīng)用程序會收到通知。什么意思呢？就是說，如果你想從socket上接收數(shù)據(jù)，只需要告訴系統(tǒng)，由系統(tǒng)為你接收數(shù)據(jù)，而你需要做的只是為系統(tǒng)提供一個緩沖區(qū)~~~~~
Listen線程和WSAEventSelect模型一模一樣，Recv/Send線程則完全不同：
procedure TOverlapThread.Execute;
var
dwTemp : DWORD;
ret : Integer;
Index : DWORD;
begin
......
while ( not Terminated ) do
begin
Index := WSAWaitForMultipleEvents
( FLinks.Count, @FLinks.Events[0], FALSE,
RECV_TIME_OUT, FALSE );
Dec( Index, WSA_WAIT_EVENT_0 );
if Index > WSA_MAXIMUM_WAIT_EVENTS-1 then
//超時或者其他錯誤
continue;
WSAResetEvent
( FLinks.Events[Index] );
WSAGetOverlappedResult( FLinks.Sockets[Index],
FLinks.pOverlaps[Index], @dwTemp, FALSE,FLinks.
pdwFlags[Index]^ );
if dwTemp = 0 then //連接已經(jīng)關(guān)閉
begin
......
continue;
end else
begin
fmMain.ListBox1.Items.Add( FLinks.pBufs[Index]^.buf );
end;
//初始化緩沖區(qū)
FLinks.pdwFlags[Index]^ := 0;
FillChar( FLinks.pOverlaps[Index]^,
sizeof(WSAOVERLAPPED), 0 );
FLinks.pOverlaps[Index]^.
hEvent := FLinks.Events[Index];
FillChar( FLinks.pBufs[Index]^.buf^,
BUFFER_SIZE, 0 );
//遞一個接收數(shù)據(jù)請求
WSARecv( FLinks.Sockets[Index], FLinks.pBufs[Index], 1,
FLinks.pdwRecvd[Index]^, FLinks.pdwFlags[Index]^,
FLinks.pOverlaps[Index], nil );
end;
end;
五：Overlapped I/O 完成例程模型
老陳接收到新的信件后，一般的程序是：打開信封----掏出信紙----閱讀信件----回復(fù)信件......為了進一步減輕用戶負擔(dān)，微軟又開發(fā)了一種新的技術(shù)：用戶只要告訴微軟對信件的操作步驟，微軟信箱將按照這些步驟去處理信件，不再需要用戶親自拆信/閱讀/回復(fù)了！老陳終于過上了小資生活！
Overlapped I/O 完成例程要求用戶提供一個回調(diào)函數(shù)，發(fā)生新的網(wǎng)絡(luò)事件的時候系統(tǒng)將執(zhí)行這個函數(shù)：
procedure WorkerRoutine( const dwError, cbTransferred : DWORD;
const
lpOverlapped : LPWSAOVERLAPPED; const dwFlags : DWORD ); stdcall;
然后告訴系統(tǒng)用WorkerRoutine函數(shù)處理接收到的數(shù)據(jù)：
WSARecv( m_socket, @FBuf, 1, dwTemp, dwFlag, @m_overlap, WorkerRoutine );
然后......沒有什么然后了，系統(tǒng)什么都給你做了！微軟真實體貼！
while ( not Terminated ) do//這就是一個Recv/Send線程要做的事情......什么都不用做?。。。?nbsp;
begin
if SleepEx( RECV_TIME_OUT, True ) = WAIT_IO_COMPLETION then //
begin
;
end else
begin
continue;
end;
end;
六：IOCP模型
微軟信箱似乎很完美，老陳也很滿意。但是在一些大公司情況卻完全不同！這些大公司有數(shù)以萬計的信箱，每秒鐘都有數(shù)以百計的信件需要處理，以至于微軟信箱經(jīng)常因超負荷運轉(zhuǎn)而崩潰！需要重新啟動！微軟不得不使出殺手锏......
微軟給每個大公司派了一名名叫“Completion Port”的超級機器人，讓這個機器人去處理那些信件！
“Windows NT小組注意到這些應(yīng)用程序的性能沒有預(yù)料的那么高。特別的，處理很多同時的客戶請求意味著很多線程并發(fā)地運行在系統(tǒng)中。因為所有這些線程都是可運行的[沒有被掛起和等待發(fā)生什么事]，Microsoft意識到NT內(nèi)核花費了太多的時間來轉(zhuǎn)換運行線程的上下文[Context]，線程就沒有得到很多CPU時間來做它們的工作。大家可能也都感覺到并行模型的瓶頸在于它為每一個客戶請求都創(chuàng)建了一個新線程。創(chuàng)建線程比起創(chuàng)建進程開銷要小，但也遠不是沒有開銷的。我們不妨設(shè)想一下：如果事先開好N個線程，讓它們在那hold[堵塞]，然后可以將所有用戶的請求都投遞到一個消息隊列中去。然后那N個線程逐一從消息隊列中去取出消息并加以處理。就可以避免針對每一個用戶請求都開線程。不僅減少了線程的資源，也提高了線程的利用率。理論上很不錯，你想我等泛泛之輩都能想出來的問題，Microsoft又怎會沒有考慮到呢?”-----摘自nonocast的《理解I/O Completion Port》
先看一下IOCP模型的實現(xiàn)：
//創(chuàng)建一個完成端口
FCompletPort := CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );
//接受遠程連接，并把這個連接的socket句柄綁定到剛才創(chuàng)建的IOCP上
AConnect := accept( FListenSock, addr, len);
CreateIoCompletionPort( AConnect, FCompletPort, nil, 0 );
//創(chuàng)建CPU數(shù)*2 + 2個線程
for i:=1 to si.dwNumberOfProcessors*2+2 do
begin
AThread := TRecvSendThread.Create( false );
AThread.CompletPort := FCompletPort;//告訴這個線程，你要去這個IOCP去訪問數(shù)據(jù)
end;
就這么簡單，我們要做的就是建立一個IOCP，把遠程連接的socket句柄綁定到剛才創(chuàng)建的IOCP上，最后創(chuàng)建n個線程，并告訴這n個線程到這個IOCP上去訪問數(shù)據(jù)就可以了。
再看一下TRecvSendThread線程都干些什么：
procedure TRecvSendThread.Execute;
var
......
begin
while (not self.Terminated) do
begin
//查詢IOCP狀態(tài)（數(shù)據(jù)讀寫操作是否完成）
GetQueuedCompletionStatus( CompletPort, BytesTransd,
CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );
if BytesTransd <> 0 then
....;//數(shù)據(jù)讀寫操作完成
//再投遞一個讀數(shù)據(jù)請求
WSARecv( CompletKey, @(pPerIoDat^.BufData), 1,
BytesRecv, Flags, @(pPerIoDat^.Overlap), nil );
end;
end;
讀寫線程只是簡單地檢查IOCP是否完成了我們投遞的讀寫操作，如果完成了則再投遞一個新的讀寫請求。
應(yīng)該注意到，我們創(chuàng)建的所有TRecvSendThread都在訪問同一個IOCP（因為我們只創(chuàng)建了一個IOCP），并且我們沒有使用臨界區(qū)！難道不會產(chǎn)生沖突嗎？不用考慮同步問題嗎？
這正是IOCP的奧妙所在。IOCP不是一個普通的對象，不需要考慮線程安全問題。它會自動調(diào)配訪問它的線程：如果某個socket上有一個線程A正在訪問，那么線程B的訪問請求會被分配到另外一個socket。這一切都是由系統(tǒng)自動調(diào)配的，我們無需過問。