摘自《Networking Programming for Microsoft Windows》第八章

“完成端口”模型是迄今為止最為復雜的一種I/O模型。然而，假若一個應(yīng)用程序同時需要管理為數(shù)眾多的套接字，那么采用這種模型，往往可以達到最佳的系統(tǒng)性能！

從本質(zhì)上說，完成端口模型要求我們創(chuàng)建一個Win32完成端口對象，通過指定數(shù)量的線程，對重疊I/O請求進行管理，以便為已經(jīng)完成的重疊I/O請求提供服務(wù)。

使用這種模型之前，首先要創(chuàng)建一個I/O完成端口對象，用它面向任意數(shù)量的套接字句柄，管理多個I/O請求。要做到這一點，需要調(diào)用CreateCompletionPort函數(shù)。
該函數(shù)定義如下：

HANDLE CreateIoCompletionPort(
??? HANDLE FileHandle,
??? HANDLE ExistingCompletionPort,
??? ULONG_PTR CompletionKey,
??? DWORD NumberOfConcurrentThreads
);

在我們深入探討其中的各個參數(shù)之前，首先要注意該函數(shù)實際用于兩個明顯有別的目的：
1. 用于創(chuàng)建一個完成端口對象。
2. 將一個句柄同完成端口關(guān)聯(lián)到一起。

最開始創(chuàng)建一個完成端口時，唯一感興趣的參數(shù)便是NumberOfConcurrentThreads（并發(fā)線程的數(shù)量）；前面三個參數(shù)都會被忽略。NumberOfConcurrentThreads參數(shù)的特殊之處在于，它定義了在一個完成端口上，同時允許執(zhí)行的線程數(shù)量。理想情況下，我們希望每個處理器各自負責一個線程的運行，為完成端口提供服務(wù)，避免過于頻繁的線程“場景”切換。若將該參數(shù)設(shè)為0，表明系統(tǒng)內(nèi)安裝了多少個處理器，便允許同時運行多少個線程！可用下述代碼創(chuàng)建一個I/O完成端口：

hIOCP = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);

該語句的作用是返回一個句柄，在為完成端口分配了一個套接字句柄后，用來對那個端口進行標定（引用）。

一、工作者線程與完成端口
成功創(chuàng)建一個完成端口后，便可開始將套接字句柄與對象關(guān)聯(lián)到一起。但在關(guān)聯(lián)套接字之前，首先必須創(chuàng)建一個或多個“工作者線程”，以便在I/O請求投遞給完成端口對象后，為完成端口提供服務(wù)。在這個時候，大家或許會覺得奇怪，到底應(yīng)創(chuàng)建多少個線程，以便為完成端口提供服務(wù)呢？這實際正是完成端口模型顯得頗為“復雜”的一個方面，因為服務(wù)I/O請求所需的數(shù)量取決于應(yīng)用程序的總體設(shè)計情況。在此要記住的一個重點在于，在我們調(diào)用CreateIoCompletionPort時指定的并發(fā)線程數(shù)量，與打算創(chuàng)建的工作者線程數(shù)量相比，它們代表的并非同一件事情。早些時候，我們曾建議大家用CreateIoCompletionPort函數(shù)為每個處理器
都指定一個線程（處理器的數(shù)量有多少，便指定多少線程）以避免由于頻繁的線程“場景”交換活動，從而影響系統(tǒng)的整體性能。CreateIoCompletionPort函數(shù)的NumberOfConcurrentThreads參數(shù)明確指示系統(tǒng)：在一個完成端口上，一次只允許n個工作者線程運行。假如在完成端口上創(chuàng)建的工作者線程數(shù)量超出n個，那么在同一時刻，最多只允許n個線程運行。但實際上，在一段較短的時間內(nèi)，系統(tǒng)有可能超過這個值，但很快便會把它減少至事先在CreateIoCompletionPort函數(shù)中設(shè)定的值。那么，為何實際創(chuàng)建的工作者線程數(shù)量有時要比CreateIoCompletionPort函數(shù)設(shè)定的多一些呢？這樣做有必要嗎？如先前所述，這主要取決于
應(yīng)用程序的總體設(shè)計情況。假定我們的某個工作者線程調(diào)用了一個函數(shù)，比如Sleep或WaitForSingleObject，但卻進入了暫停（鎖定或掛起）狀態(tài)，那么允許另一個線程代替它的位置。換言之，我們希望隨時都能執(zhí)行盡可能多的線程；當然，最大的線程數(shù)量是事先在CreateIoCompletionPort調(diào)用里設(shè)定好的。這樣一來，假如事先預(yù)計到自己的線程有可能暫時處于停頓狀態(tài)，那么最好能夠創(chuàng)建比CreateIoCompletionPort的NumberOfConcurrentThreads參數(shù)的值多的線程，以便到時候充分發(fā)揮系統(tǒng)的潛力。一旦在完成端口上擁有足夠多的工作者線程來為I/O請求提供服務(wù)，便可著手將套接字句柄同完成端口關(guān)聯(lián)到一起。這要求我們在一個現(xiàn)有的完成端口上，調(diào)用CreateIoCompletionPort函數(shù)，同時為前三個參數(shù)——FileHandle，ExistingCompletionPort和CompletionKey——提供套接字的信息。其中， FileHandle參數(shù)指定一個要同完成端口關(guān)聯(lián)在一起的套接字句柄。ExistingCompletionPort參數(shù)指定的是一個現(xiàn)有的完成端口。CompletionKey（完成鍵）參數(shù)則指定要與某個特定套接字句柄關(guān)聯(lián)在一起的“單句柄數(shù)據(jù)”；在這個參數(shù)中，應(yīng)用程序可保存與一個套接字對應(yīng)的任意類型的信息。之所以把它叫作“單句柄數(shù)據(jù)”，是由于它只對
應(yīng)著與那個套接字句柄關(guān)聯(lián)在一起的數(shù)據(jù)。可將其作為指向一個數(shù)據(jù)結(jié)構(gòu)的指針，來保存套接字句柄；在那個結(jié)構(gòu)中，同時包含了套接字的句柄，以及與那個套接字有關(guān)的其他信息。

根據(jù)我們到目前為止學到的東西，首先來構(gòu)建一個基本的應(yīng)用程序框架。下面闡述了如何使用完成端口模型，來開發(fā)一個ECHO服務(wù)器應(yīng)用。在這個程序中，我們基本上按下述步驟行事：

1) 創(chuàng)建一個完成端口。第四個參數(shù)保持為0，指定在完成端口上，每個處理器一次只允許執(zhí)行一個工作者線程。
2) 判斷系統(tǒng)內(nèi)到底安裝了多少個處理器。
3) 創(chuàng)建工作者線程，根據(jù)步驟2)得到的處理器信息，在完成端口上，為已完成的I/O請求提供服務(wù)。
4) 準備好一個監(jiān)聽套接字，在端口5150上監(jiān)聽進入的連接請求。
5) 使用accept函數(shù)，接受進入的連接請求。
6) 創(chuàng)建一個數(shù)據(jù)結(jié)構(gòu)，用于容納“單句柄數(shù)據(jù)”，同時在結(jié)構(gòu)中存入接受的套接字句柄。
7) 調(diào)用CreateIoCompletionPort，將自accept返回的新套接字句柄同完成端口關(guān)聯(lián)到一起。通過完成鍵（CompletionKey）參數(shù)，將單句柄數(shù)據(jù)結(jié)構(gòu)傳遞給CreateIoCompletionPort。
8) 開始在已接受的連接上進行I/O操作。在此，我們希望通過重疊I/O機制，在新建的套接字上投遞一個或多個異步WSARecv或WSASend請求。這些I/O請求完成后，一個工作者線程會為I/O請求提供服務(wù)，同時繼續(xù)處理未來的I/O請求，稍后便會在步驟3 )指定的工作者例程中，體驗到這一點。
9) 重復步驟5 ) ~ 8 )，直至服務(wù)器中止。

二、完成端口和重疊I/O
將套接字句柄與一個完成端口關(guān)聯(lián)在一起后，便可以套接字句柄為基礎(chǔ)，投遞發(fā)送與接收請求，開始對I/O請求的處理。接下來，可開始依賴完成端口，來接收有關(guān)I/O操作完成情況的通知。從本質(zhì)上說，完成端口模型利用了Win32重疊I/O機制。在這種機制中，象WSASend和WSARecv這樣的Winsock API調(diào)用會立即返回。此時，需要由我們的應(yīng)用程序負責在以后的某個時間，通過一個OVERLAPPED結(jié)構(gòu)，來接收調(diào)用的結(jié)果。在完成端口模型中，要想做到這一點，需要使用GetQueuedCompletionStatus（獲取排隊完成狀態(tài)）函數(shù)，讓一個或多個工作者線程在完成端口上等待。該函數(shù)的定義如下：

BOOL GetQueuedCompletionStatus(
??? HANDLE CompletionPort,
??? LPDWORD lpNumberOfBytes,
??? PULONG_PTR lpCompletionKey,
??? LPOVERLAPPED* lpOverlapped,
??? DWORD dwMilliseconds
);

其中，CompletionPort參數(shù)對應(yīng)于要在上面等待的完成端口。lpNumberOfBytes參數(shù)負責在完成了一次I/O操作后（如WSASend或WSARecv），接收實際傳輸?shù)淖止?jié)數(shù)。lpCompletionKey參數(shù)為原先傳遞進入CreateIoCompletionPort函數(shù)的套接字返回“單句柄數(shù)據(jù)”。如我們早先所述，大家最好將套接字句柄保存在這個“鍵”（Key）中。lpOverlapped參數(shù)用于接收完成的I/O操作的重疊結(jié)果。這實際是一個相當重要的參數(shù)，因為可用它獲取每個I/O操作的數(shù)據(jù)。而最后一個參數(shù)，dwMilliseconds，用于指定調(diào)用者希望等待一個完成數(shù)據(jù)包在完成端口上出現(xiàn)的時間。假如將其設(shè)為INFINITE，調(diào)用會無休止地等待下去。

三、單句柄數(shù)據(jù)和單I/O操作數(shù)據(jù)
一個工作者線程從GetQueuedCompletionStatus這個API調(diào)用接收到I/O完成通知后，在lpCompletionKey和lpOverlapped參數(shù)中，會包含一些必要的套接字信息。利用這些信息，可通過完成端口，繼續(xù)在一個套接字上的I/O處理。通過這些參數(shù)，可獲得兩方面重要的套接字數(shù)據(jù)：單句柄數(shù)據(jù)，以及單I/O操作數(shù)據(jù)。其中，lpCompletionKey參數(shù)包含了“單句柄數(shù)據(jù)”，因為在一個套接字首次與完成端口關(guān)聯(lián)到一起的時候，那些數(shù)據(jù)便與一個特定的套接字句柄對應(yīng)起來了。這些數(shù)據(jù)正是我們在進行CreateIoCompletionPort API調(diào)用的時候，通過CompletionKey參數(shù)傳遞的。如早先所述，應(yīng)用程序可通過該參數(shù)傳遞任意類型的數(shù)據(jù)。通常情況下，應(yīng)用程序會將與I/O請求有關(guān)的套接字句柄保存在這里。lpOverlapped參數(shù)則包含了一個OVERLAPPED結(jié)構(gòu)，在它后面跟隨“單I/O操作數(shù)據(jù)”。我們的工作者線程處理一個完成數(shù)據(jù)包時（將數(shù)據(jù)原封不動打轉(zhuǎn)回去，接受連接，投遞另一個線程，等等），這些信息是它必須要知道的。單I/O操作數(shù)據(jù)可以是追加到一個OVERLAPPED結(jié)構(gòu)末尾的、任意數(shù)量的字節(jié)。假如一個函數(shù)要求用到一個OVERLAPPED結(jié)構(gòu)，我們便必須將這樣的一個結(jié)構(gòu)傳遞進去，以滿足它的要求。要想做到這一點，一個簡單的方法是定義一個結(jié)構(gòu)，然后將OVERLAPPED結(jié)構(gòu)作為新結(jié)構(gòu)的第一個元素使用。舉個例子來說，可定義下述數(shù)據(jù)結(jié)構(gòu)，實現(xiàn)對單I/O操作數(shù)據(jù)的管理：

typedef struct
{
??? OVERLAPPED Overlapped;
??? WSABUF???? DataBuf;
??? CHAR?????? Buffer[DATA_BUFSIZE];
??? BOOL?????? OperationType;
}PER_IO_OPERATION_DATA

該結(jié)構(gòu)演示了通常要與I/O操作關(guān)聯(lián)在一起的某些重要數(shù)據(jù)元素，比如剛才完成的那個I/O操作的類型（發(fā)送或接收請求）。在這個結(jié)構(gòu)中，我們認為用于已完成I/O操作的數(shù)據(jù)緩沖區(qū)是非常有用的。要想調(diào)用一個Winsock API函數(shù)，同時為其分配一個OVERLAPPED結(jié)構(gòu)，既可將自己的結(jié)構(gòu)“造型”為一個OVERLAPPED指針，亦可簡單地撤消對結(jié)構(gòu)中的OVERLAPPED元素的引用。如下例所示：

PER_IO_OPERATION_DATA PerIoData;
// 可像下面這樣調(diào)用一個函數(shù)
? WSARecv(socket, ..., (OVERLAPPED *)&PerIoData);
// 或像這樣
? WSARecv(socket, ..., &(PerIoData.Overlapped));

在工作線程的后面部分，等GetQueuedCompletionStatus函數(shù)返回了一個重疊結(jié)構(gòu)（和完成鍵）后，便可通過撤消對OperationType成員的引用，調(diào)查到底是哪個操作投遞到了這個句柄之上（只需將返回的重疊結(jié)構(gòu)造型為自己的PER_IO_OPERATION_DATA結(jié)構(gòu)）。對單I/O操作數(shù)據(jù)來說，它最大的一個優(yōu)點便是允許我們在同一個句柄上，同時管理多個I/O操作（讀/寫，多個讀，多個寫，等等）。大家此時或許會產(chǎn)生這樣的疑問：在同一個套接字上，真的有必要同時投遞多個I/O操作嗎？答案在于系統(tǒng)的“伸縮性”，或者說“擴展能力”。例如，假定我們的機器安裝了多個中央處理器，每個處理器都在運行一個工作者線程，那么在同一個時
候，完全可能有幾個不同的處理器在同一個套接字上，進行數(shù)據(jù)的收發(fā)操作。

最后要注意的一處細節(jié)是如何正確地關(guān)閉I/O完成端口—特別是同時運行了一個或多個線程，在幾個不同的套接字上執(zhí)行I/O操作的時候。要避免的一個重要問題是在進行重疊I/O操作的同時，強行釋放一個OVERLAPPED結(jié)構(gòu)。要想避免出現(xiàn)這種情況，最好的辦法是針對每個套接字句柄，調(diào)用closesocket函數(shù)，任何尚未進行的重疊I/O操作都會完成。一旦所有套接字句柄都已關(guān)閉，便需在完成端口上，終止所有工作者線程的運行。要想做到這一點， 需要使用PostQueuedCompletionStatus函數(shù)，向每個工作者線程都發(fā)送一個特殊的完成數(shù)據(jù)包。該函數(shù)會指示每個線程都“立即結(jié)束并退出”。下面是PostQueuedCompletionStatus函數(shù)的定義：

BOOL PostQueuedCompletionStatus(
??? HANDLE CompletionPort,
??? DWORD dwNumberOfBytesTransferred,
??? ULONG_PTR dwCompletionKey,
??? LPOVERLAPPED lpOverlapped
);

其中，CompletionPort參數(shù)指定想向其發(fā)送一個完成數(shù)據(jù)包的完成端口對象。而就dwNumberOfBytesTransferred、dwCompletionKey和lpOverlapped這三個參數(shù)來說，每一個都允許我們指定一個值，直接傳遞給GetQueuedCompletionStatus函數(shù)中對應(yīng)的參數(shù)。這樣一來，一個工作者線程收到傳遞過來的三個GetQueuedCompletionStatus函數(shù)參數(shù)后，便可根據(jù)由這三個參數(shù)的某一個設(shè)置的特殊值，決定何時應(yīng)該退出。例如，可用dwCompletionPort參數(shù)傳遞0值，而一個工作者線程會將其解釋成中止指令。一旦所有工作者線程都已關(guān)閉，便可使用CloseHandle函數(shù)，關(guān)閉完成端口，最終安全退出程序。

注：CreateIoCompletionPort ，PostQueuedCompletionStatus ，GetQueuedCompletionStatus 等函數(shù)的用法說明。

Platform SDK: Storage

?

?

I/O Completion Ports

I/O completion ports are the mechanism by which an application uses a pool of threads that was created when the application was started to process asynchronous I/O requests. These threads are created for the sole purpose of processing I/O requests. Applications that process many concurrent asynchronous I/O requests can do so more quickly and efficiently by using I/O completion ports than by using creating threads at the time of the I/O request.

?

?

?

?

?

I/O完成端口(s)是一種機制，通過這個機制，應(yīng)用程序在啟動時會首先創(chuàng)建一個線程池，然后該應(yīng)用程序使用線程池處理異步I/O請求。這些線程被創(chuàng)建的唯一目的就是用于處理I/O請求。對于處理大量并發(fā)異步I/O請求的應(yīng)用程序來說，相比于在I/O請求發(fā)生時創(chuàng)建線程來說，使用完成端口(s)它就可以做的更快且更有效率。

?

?

?

?

?

The CreateIoCompletionPort function associates an I/O completion port with one or more file handles. When an asynchronous I/O operation started on a file handle associated with a completion port is completed, an I/O completion packet is queued to the port. This can be used to combine the synchronization point for multiple file handles into a single object.

?

?

?

?

?

CreateIoCompletionPort函數(shù)會使一個I/O完成端口與一個或多個文件句柄發(fā)生關(guān)聯(lián)。當與一個完成端口相關(guān)的文件句柄上啟動的異步I/O操作完成時，一個I/O完成包就會進入到該完成端口的隊列中。對于多個文件句柄來說，就可以把這些多個文件句柄合并成一個單獨的對象，這個可以被用來結(jié)合同步點？

?

?

?

?

?

A thread uses the GetQueuedCompletionStatus function to wait for a completion packet to be queued to the completion port, rather than waiting directly for the asynchronous I/O to complete. Threads that block their execution on a completion port are released in last-in-first-out (LIFO) order. This means that when a completion packet is queued to the completion port, the system releases the last thread to block its execution on the port.

?

?

調(diào)用GetQueuedCompletionStatus函數(shù)，某個線程就會等待一個完成包進入到完成端口的隊列中，而不是直接等待異步I/O請求完成。線程（們）就會阻塞于它們的運行在完成端口（按照后進先出隊列順序的被釋放）。這就意味著當一個完成包進入到完成端口的隊列中時，系統(tǒng)會釋放最近被阻塞在該完成端口的線程。

?

?

?

?

?

When a thread calls GetQueuedCompletionStatus, it is associated with the specified completion port until it exits, specifies a different completion port, or frees the completion port. A thread can be associated with at most one completion port.

?

?

調(diào)用GetQueuedCompletionStatus，線程就會將會與某個指定的完成端口建立聯(lián)系，一直延續(xù)其該線程的存在周期，或被指定了不同的完成端口，或者釋放了與完成端口的聯(lián)系。一個線程只能與最多不超過一個的完成端口發(fā)生聯(lián)系。

?

?

?

?

?

The most important property of a completion port is the concurrency value. The concurrency value of a completion port is specified when the completion port is created. This value limits the number of runnable threads associated with the completion port. When the total number of runnable threads associated with the completion port reaches the concurrency value, the system blocks the execution of any subsequent threads that specify the completion port until the number of runnable threads associated with the completion port drops below the concurrency value. The most efficient scenario occurs when there are completion packets waiting in the queue, but no waits can be satisfied because the port has reached its concurrency limit. In this case, when a running thread calls GetQueuedCompletionStatus, it will immediately pick up the queued completion packet. No context switches will occur, because the running thread is continually picking up completion packets and the other threads are unable to run.

?

?

完成端口最重要的特性就是并發(fā)量。完成端口的并發(fā)量可以在創(chuàng)建該完成端口時指定。該并發(fā)量限制了與該完成端口相關(guān)聯(lián)的可運行線程的數(shù)目。當與該完成端口相關(guān)聯(lián)的可運行線程的總數(shù)目達到了該并發(fā)量，系統(tǒng)就會阻塞任何與該完成端口相關(guān)聯(lián)的后續(xù)線程的執(zhí)行，直到與該完成端口相關(guān)聯(lián)的可運行線程數(shù)目下降到小于該并發(fā)量為止。最有效的假想是發(fā)生在有完成包在隊列中等待，而沒有等待被滿足，因為此時完成端口達到了其并發(fā)量的極限。此時，一個正在運行中的線程調(diào)用GetQueuedCompletionStatus時，它就會立刻從隊列中取走該完成包。這樣就不存在著環(huán)境的切換，因為該處于運行中的線程就會連續(xù)不斷地從隊列中取走完成包，而其他的線程就不能運行了。

?

?

?

?

?

The best value to pick for the concurrency value is the number of CPUs on the machine. If your transaction required a lengthy computation, a larger concurrency value will allow more threads to run. Each transaction will take longer to complete, but more transactions will be processed at the same time. It is easy to experiment with the concurrency value to achieve the best effect for your application.

?

?

對于并發(fā)量最好的挑選值就是您計算機中cpu的數(shù)目。如果您的事務(wù)處理需要一個漫長的計算時間，一個比較大的并發(fā)量可以允許更多線程來運行。雖然完成每個事務(wù)處理需要花費更長的時間，但更多的事務(wù)可以同時被處理。對于應(yīng)用程序來說，很容易通過測試并發(fā)量來獲得最好的效果。

?

?

?

?

?

The PostQueuedCompletionStatus function allows an application to queue its own special-purpose I/O completion packets to the completion port without starting an asynchronous I/O operation. This is useful for notifying worker threads of external events.

?

?

PostQueuedCompletionStatus函數(shù)允許應(yīng)用程序可以針對自定義的專用I/O完成包進行排隊，而無需啟動一個異步I/O操作。這點對于通知外部事件的工作者線程來說很有用。

?

?

?

?

?

The completion port is freed when there are no more references to it. The completion port handle and every file handle associated with the completion port reference the completion port. All the handles must be closed to free the completion port. To close the port handle, call the CloseHandle function.

?

?

在沒有更多的引用針對某個完成端口時，需要釋放該完成端口。該完成端口句柄以及與該完成端口相關(guān)聯(lián)的所有文件句柄都需要被釋放。調(diào)用CloseHandle可以釋放完成端口的句柄。