CppExplore

作者：CppExplore 網(wǎng)址：http://m.shnenglu.com/CppExplore/
本章主要列舉服務(wù)器程序的各種網(wǎng)絡(luò)模型，示例程序以及性能對(duì)比后面再寫(xiě)。
一、分類(lèi)依據(jù)。服務(wù)器的網(wǎng)絡(luò)模型分類(lèi)主要依據(jù)以下幾點(diǎn)
（1）是否阻塞方式處理請(qǐng)求，是否多路復(fù)用，使用哪種多路復(fù)用函數(shù)
（2）是否多線程，多線程間如何組織
（3）是否多進(jìn)程，多進(jìn)程的切入點(diǎn)一般都是accept函數(shù)前
二、分類(lèi)。首先根據(jù)是否多路復(fù)用分為三大類(lèi)：
（1）阻塞式模型
（2）多路復(fù)用模型
（3）實(shí)時(shí)信號(hào)模型
三、詳細(xì)分類(lèi)。
1、阻塞式模型根據(jù)是否多線程分四類(lèi)：
（1）單線程處理。實(shí)現(xiàn)可以參見(jiàn)http://m.shnenglu.com/CppExplore/archive/2008/03/14/44509.html后面的示例代碼。
（2）一個(gè)請(qǐng)求一個(gè)線程。
主線程阻塞在accept處，新連接到來(lái)，實(shí)時(shí)生成線程處理新連接。受限于進(jìn)程的線程數(shù)，以及實(shí)時(shí)創(chuàng)建線程的開(kāi)銷(xiāo)，過(guò)多線程后上下文切換的開(kāi)銷(xiāo)，該模型也就是有學(xué)習(xí)上價(jià)值。
（3）預(yù)派生一定數(shù)量線程，并且所有線程阻塞在accept處。
該模型與下面的（4）類(lèi)似與線程的領(lǐng)導(dǎo)者/追隨者模型。
傳統(tǒng)的看法認(rèn)為多進(jìn)程（linux上線程仍然是進(jìn)程方式）同時(shí)阻塞在accept處，當(dāng)新連接到來(lái)時(shí)會(huì)有“驚群”現(xiàn)象發(fā)生，即所有都被激活，之后有一個(gè)獲取連接描述符返回，其它再次轉(zhuǎn)為睡眠。linux從2.2.9版本開(kāi)始就不再存在這個(gè)問(wèn)題，只會(huì)有一個(gè)被激活，其它平臺(tái)依舊可能有這個(gè)問(wèn)題，甚至是不支持所有進(jìn)程直接在accept阻塞。
（4）預(yù)派生一定數(shù)量線程，并且所有線程阻塞在accept前的線程鎖處。
一次只有一個(gè)線程能阻塞在accept處。避免不支持所有線程直接阻塞在accept，并且避免驚群?jiǎn)栴}。特別是當(dāng)前l(fā)inux2.6的線程庫(kù)下，模型（3）沒(méi)有存在的價(jià)值了。另有文件鎖方式，不具有通用性，并且效率也不高，不再單獨(dú)列舉。
（5）主線程處理accept，預(yù)派生多個(gè)線程（線程池）處理連接。
類(lèi)似與線程的半同步/半異步模型。
主線程的accept返回后，將clientfd放入預(yù)派生線程的線程消息隊(duì)列，線程池讀取線程消息隊(duì)列處理clientfd。主線程只處理accept，可以快速返回繼續(xù)調(diào)用accept，可以避免連接爆發(fā)情況的拒絕連接問(wèn)題，另加大線程消息隊(duì)列的長(zhǎng)度，可以有效減少線程消息隊(duì)列處的系統(tǒng)調(diào)用次數(shù)。
（6）預(yù)派生多線程阻塞在accept處，每個(gè)線程又有預(yù)派生線程專(zhuān)門(mén)處理連接。
（3）和（4）/（5）的復(fù)合體。
經(jīng)測(cè)試，（5）中的accept線程處理能力非常強(qiáng)，遠(yuǎn)遠(yuǎn)大于業(yè)務(wù)線程，并發(fā)10000的連接數(shù)也毫無(wú)影響，因此該模型沒(méi)有實(shí)際意義。
總結(jié)：就前五模型而言，性能最好的是模型（5）。模型（3）/(4)可以一定程度上改善模型（1）的處理性能，處理爆發(fā)繁忙的連接，仍然不理想。。阻塞式模型因?yàn)樽x的阻塞性，容易受到攻擊，一個(gè)死連接（建立連接但是不發(fā)送數(shù)據(jù)的連接）就可以導(dǎo)致業(yè)務(wù)線程死掉。因此內(nèi)部服務(wù)器的交互可以采用這類(lèi)模型，對(duì)外的服務(wù)不適合。優(yōu)先（5），然后是（4），然后是（1），其它不考慮。
2、多路復(fù)用模型根據(jù)多路復(fù)用點(diǎn)、是否多線程分類(lèi)：
以下各個(gè)模型依據(jù)選用select/poll/epoll又都細(xì)分為3類(lèi)。下面?zhèn)€別術(shù)語(yǔ)采用select中的，僅為說(shuō)明。
（1）accept函數(shù)在多路復(fù)用函數(shù)之前，主線程在accept處阻塞，多個(gè)從線程在多路復(fù)用函數(shù)處阻塞。主線程和從線程通過(guò)管道通訊，主線程通過(guò)管道依次將連接的clientfd寫(xiě)入對(duì)應(yīng)從線程管道，從線程把管道的讀端pipefd作為fd_set的第一個(gè)描述符，如pipefd可讀，則讀數(shù)據(jù)，根據(jù)預(yù)定義格式分解出clientfd放入fd_set，如果clientfd可讀，則read之后處理業(yè)務(wù)。
此方法可以避免select的fd_set上限限制，具體機(jī)器上select可以支持多少個(gè)描述符，可以通過(guò)打印sizeof(fd_set)查看，我機(jī)器上是512字節(jié)，則支持512×8＝4096個(gè)。為了支持多余4096的連接數(shù)，此模型下就可以創(chuàng)建多個(gè)從線程分別多路復(fù)用，主線程accept后平均放入（順序循環(huán)）各個(gè)線程的管道中。創(chuàng)建5個(gè)從線程以其對(duì)應(yīng)管道，就可以支持2w的連接，足夠了。另一方面相對(duì)與單線程的select，單一連接可讀的時(shí)候，還可以減少循環(huán)掃描fd_set的次數(shù)。單線程下要掃描所有fd_set（如果再最后），該模型下，只需要掃描所在線程的fd_set就可。
（2）accept函數(shù)在多路復(fù)用函數(shù)之前，與（1）的差別在于，主線程不直接與從線程通過(guò)管道通訊，而是將獲取的fd放入另一緩存線程的線程消息隊(duì)列，緩存線程讀消息隊(duì)列，然后通過(guò)管道與從線程通訊。
目的在主線程中減少系統(tǒng)調(diào)用，加快accept的處理，避免連接爆發(fā)情況下的拒絕連接。
（3）多路復(fù)用函數(shù)在accept之前。多路復(fù)用函數(shù)返回，如果可讀的是serverfd，則accept，其它則read，后處理業(yè)務(wù)，這是多路復(fù)用通用的模型，也是經(jīng)典的reactor模型。
（4）連接在單獨(dú)線程中處理。
以上（1）（2）（3）都可以在檢測(cè)到cliendfd可讀的時(shí)候，把描述符寫(xiě)入另一線程（也可以是線程池）的線程消息隊(duì)列，另一線程（或線程池）負(fù)責(zé)read，后處理業(yè)務(wù)。
（5）業(yè)務(wù)線程獨(dú)立，下面的網(wǎng)絡(luò)層讀取結(jié)束后通知業(yè)務(wù)線程。
以上（1）（2）（3）（4）中都可以將業(yè)務(wù)線程（可以是線程池）獨(dú)立，事先告之（1）、（2）、（3）、（4）中read所在線程（上面1、2、4都可以是線程池），需要讀取的字符串結(jié)束標(biāo)志或者需要讀取的字符串個(gè)數(shù)，讀取結(jié)束，則將clientfd/buffer指針?lè)湃霕I(yè)務(wù)線程的線程消息隊(duì)列，業(yè)務(wù)線程讀取消息隊(duì)列處理業(yè)務(wù)。這也就是經(jīng)典的proactor模擬。
總結(jié)：模型（1）是拓展select處理能力不錯(cuò)選擇；模型（2）是模型（1）在爆發(fā)連接下的調(diào)整版本；模型（3）是經(jīng)典的reactor，epoll在該模型下性能就已經(jīng)很好，而select/poll仍然存在爆發(fā)連接的拒絕連接情況；模型（4）（5）則是方便業(yè)務(wù)處理，對(duì)模型（3）進(jìn)行多線程調(diào)整的版本。帶有復(fù)雜業(yè)務(wù)處理的情況下推薦模型（5）。根據(jù)測(cè)試顯示，使用epoll的時(shí)候，模型（1）（2）相對(duì)（3）沒(méi)有明顯的性能優(yōu)勢(shì)，（1）由于主線程兩次的系統(tǒng)調(diào)用，反而性能下降。
3、實(shí)時(shí)信號(hào)模型：
使用fcntl的F_SETSIG操作，把描述符可讀的信號(hào)由不可靠的SIGIO(SYSTEM V)或者SIGPOLL(BSD)換成可靠信號(hào)。即可成為替代多路復(fù)用的方式。優(yōu)于select/poll，特別是在大量死連接存在的情況下，但不及epoll。
四、多進(jìn)程的參與的方式
（1）fork模型。fork后所有進(jìn)程直接在accept阻塞。以上主線程在accept阻塞的都可以在accept前fork為多進(jìn)程。同樣面臨驚群?jiǎn)栴}。
（2）fork模型。fork后所有進(jìn)程阻塞在accept前的線程鎖處。同線程中一樣避免不支持所有進(jìn)程直接阻塞在accept或者驚群?jiǎn)栴}，所有進(jìn)程阻塞在共享內(nèi)存上實(shí)現(xiàn)的線程互斥鎖。
（3）業(yè)務(wù)和網(wǎng)絡(luò)層分離為不同進(jìn)程模型。這個(gè)模型可能是受unix簡(jiǎn)單哲學(xué)的影響，一個(gè)進(jìn)程完成一件事情，復(fù)雜的事情通過(guò)多個(gè)進(jìn)程結(jié)合管道完成。我見(jiàn)過(guò)進(jìn)程方式的商業(yè)協(xié)議棧實(shí)現(xiàn)。自己暫時(shí)還沒(méi)有寫(xiě)該模型的示例程序測(cè)試對(duì)比性能。
（4）均衡負(fù)載模型。起多個(gè)進(jìn)程綁定到不同的服務(wù)端口，前端部署lvs等均衡負(fù)載系統(tǒng)，暴露一個(gè)網(wǎng)絡(luò)地址，后端映射到不同的進(jìn)程，實(shí)現(xiàn)可擴(kuò)展的多進(jìn)程方案。
總結(jié)：個(gè)人認(rèn)為（1）（2）沒(méi)什么意義。（3）暫不評(píng)價(jià)。（4）則是均衡負(fù)載方案，和以上所有方案不沖突。
以上模型的代碼示例以及性能對(duì)比后面給出。