并發(fā)服務(wù)器有三種常見的架構(gòu)：
1. 單線程epoll（ET非阻塞I/O) +線程池，也叫半同步半異步模式。這種模型比較常見，而且因為異步層和同步層使用消息隊列傳遞消息，更容易實現(xiàn)對消息的FIFO處理。缺點就是線程的同步和上下文切換開銷比較大。
2. ConnectionPerThread+阻塞型I/O。這是最古老的服務(wù)器并發(fā)模型，不太適合現(xiàn)今的這些高并發(fā)高負(fù)載服務(wù)器，當(dāng)連接數(shù)巨大的時候，創(chuàng)建銷毀線程的開銷會無法承受，并且內(nèi)核創(chuàng)建線程的速度也會成為瓶頸。這種模型的一種改進(jìn)型就是領(lǐng)導(dǎo)者/跟隨者模式，它吸取第一種模型中，線程數(shù)量不會膨脹的優(yōu)點，使用線程池來處理連接。每當(dāng)有連接到達(dá)時，都使用一個線程阻塞處理，處理完成后，線程再回到線程池中，這樣有限的線程模擬出了ConnectionPerThread。一般來說，領(lǐng)導(dǎo)者/跟隨者模型比第一種模型更加高效，因為它減少了線程同步和切換的開銷，它的缺點就是FIFO很難保證。
3. 流水線模型。前面兩種模式都有個缺點，它們不能花太長時間處理邏輯，因為在多CPU系統(tǒng)上，某些耗時的長請求可能會不斷占住CPU，而導(dǎo)致短請求得不到處理，這會使某些CPU閑置。于是這種模型提出，將請求處理的過程劃分步驟，不同的步驟考慮不同的資源處理（比如CPU, DISK I/O等），每個步驟使用單獨的線程或線程池。這樣比較耗時的操作可能集中在流水線的下級，而短請求也可以在上級得到快速處理。因為各級線程之間使用消息隊列傳遞請求，也很容易實現(xiàn)FIFO。