并發服務器有三種常見的架構：
1. 單線程epoll（ET非阻塞I/O) +線程池，也叫半同步半異步模式。這種模型比較常見，而且因為異步層和同步層使用消息隊列傳遞消息，更容易實現對消息的FIFO處理。缺點就是線程的同步和上下文切換開銷比較大。
2. ConnectionPerThread+阻塞型I/O。這是最古老的服務器并發模型，不太適合現今的這些高并發高負載服務器，當連接數巨大的時候，創建銷毀線程的開銷會無法承受，并且內核創建線程的速度也會成為瓶頸。這種模型的一種改進型就是領導者/跟隨者模式，它吸取第一種模型中，線程數量不會膨脹的優點，使用線程池來處理連接。每當有連接到達時，都使用一個線程阻塞處理，處理完成后，線程再回到線程池中，這樣有限的線程模擬出了ConnectionPerThread。一般來說，領導者/跟隨者模型比第一種模型更加高效，因為它減少了線程同步和切換的開銷，它的缺點就是FIFO很難保證。
3. 流水線模型。前面兩種模式都有個缺點，它們不能花太長時間處理邏輯，因為在多CPU系統上，某些耗時的長請求可能會不斷占住CPU，而導致短請求得不到處理，這會使某些CPU閑置。于是這種模型提出，將請求處理的過程劃分步驟，不同的步驟考慮不同的資源處理（比如CPU, DISK I/O等），每個步驟使用單獨的線程或線程池。這樣比較耗時的操作可能集中在流水線的下級，而短請求也可以在上級得到快速處理。因為各級線程之間使用消息隊列傳遞請求，也很容易實現FIFO。